放顶煤开采技术是开采厚及特厚煤层的有效方法，放煤是放顶煤开采独有的工序，近20年来，国内外一直致力于智能放煤技术开发，但至今仍无实质性进展，也没有国内外成熟技术可以借鉴，与综采工作面智能化相比，智能放煤的进展较小。
综采工作面和放顶煤工作面的区别主要在于放煤。煤炭开采过程中主要涉及到两类煤矸识别问题，一是综采工作面采煤机割煤过程中的煤岩界面识别，二是综放工作面放煤过程中的煤矸识别。前者已经在智能综采工作面初步实现，而后者要对后部刮板运输机上快速运动的、呈堆积状态的煤矸进行识别，目前仍然存在许多技术难题。目前，放顶煤工作面仍普遍采用人工放煤方式，放煤工人从液压支架间隙观察后部刮板运输机上煤流，观察矸石是否被放出或者放出的量，进而决定是否停止放煤。这种方法劳动强度大、生产效率低，且容易出现由于工人主观原因发生误操作的情况。
智能化放顶煤开采是以智能化综采技术为基础，通过实现智能放煤最终达到放顶煤工作面的智能化控制。目前放顶煤工作面主要采用人工控制放煤，同时也在记忆放煤、支架位态、红外、声波、振动、高光谱、伽马射线智能放煤技术等方面进行了探索。记忆放煤比较容易实现，但是难以对放煤状态做出实时反馈，当煤层赋存条件发生变化时，可能会产生误差；支架位态智能放煤技术环境适应性强，不受粉尘、水雾等因素的影响，红外智能放煤技术也可以适应低照度，强噪声环境，声波、振动智能放煤技术则可以克服高粉尘问题，但是在煤矸物理力学性质相差不大时，易产生较大的识别误差；高光谱、伽马射线等智能放煤技术，具有灵敏度高的特点，但是设备成本高，有些体积较大的设备也会受限于放顶煤工作面支架后部的狭小空间。上述这几种方法都无法获得混矸率数据，而混矸率又是影响顶煤回收率的关键因素。实现智能化的核心问题是正确把握放煤口开启和关闭的时机，但目前为止尚未取得关键突破。
1煤矸图像特征的照度因素影响机制与煤矸识别特征选取
目前，在放顶煤工作面，通常是放煤工人通过观察放煤口附近后部刮板运输机上煤流的颜色（或灰度）来判断矸石是否已经被放出，或者估计放出的量，进而决定是否需要关闭放煤口。近四十年的放顶煤生产经验也表明，在大多数煤层赋存条件和生产环境下，通过人工肉眼辨识煤矸、进而控制放煤口的开关是可行的，是有效的。
因此，我们完全可以使用成熟的图像识别算法代替人工来识别煤和矸石，达到减人增效的目的。关于图像识别，主要有两条思路，其一是利用经典的图像处理算法计算混矸率。灰度和纹理是图像识别最常用的两个特征指标，分形维数可以用于反映煤矸表面纹理的复杂程度。该方法原理简单，在图像识别煤矸分选领域得到了广泛应用，其可靠性得到了验证。第2种研究思路是利用深度学习算法对煤矸图像进行语义分割，进而计算混矸率。不论是经典的图像处理算法，还是基于深度学习的语义分割算法，分析的对象都是图像，而图像又是目标物体、光源、环境以及图像采集系统等多种因素共同作用的结果，同一物体，放置在不同的光照环境下，或者使用不同的传感器进行采集，得到的图像也是不同的，进一步通过算法得到识别的结果，可能也是不同的，特别是对于煤和矸石的识别，这类问题更加显著。因此，我们将照度概念引入到图像识别智能放煤技术的研究中，为煤矸图像识别提供最优照度或最优特征，这也是煤矸图像识别有别于其他领域进行图像识别的地方。2煤矸图像精准分割与混矸率计算
相比于其他识别技术或手段，图像识别智能放煤技术的一大优势是可以实现混矸率的识别。混矸率（Rock Mixed Ratio, RMR），是指从放煤口放出并落在后部刮板运输机上快速移动煤流中的矸石的体积（矸石表面积、或二维图像中的投影面积）与煤矸总体积（总表面积、或二维图像中的总投影面积）的比值，取值范围[0,100%]。
目前，常用的一些智能放煤技术，比如基于声音或者振动信号的技术，仅能对“放煤”、“放矸”两种放煤阶段进行区分，而无法对混矸率进行判别，这是典型的“见矸关门”原则。最近的研究发现，当混矸率为10%~15%时，才可使顶煤回收率达到最大化，这就要求在煤矸识别时，要对混矸率给出定量精准判断，否则会造成较大的顶煤损失。
对混矸率的精准判断离不开高精度的图像分割结果，放顶煤领域的图像分割不同于其他领域。比如在煤矸分选过程中，待分选的煤和矸石被平铺在皮带机上通过传感器，而放顶煤工作面，后部刮板运输机带动煤流快速移动，煤和矸石相互堆积叠压，不利于边界识别与混矸率计算。
不同研究领域的煤矸识别
为了实现图像的精准分割，从经典算法与深度学习算法两个思路开展了研究。在经典算法方面，提出了一种适用于煤矸图像分割的基于多尺度重建及标记控制分水岭算法，实现了煤矸混合图像的分割，但是对图像中阴影区域的辨识能力较差。
将深度学习方法引入到混矸率识别研究中，提出了一种轻量级的放顶煤工作面矸石识别及边界测量模型。图像低级特征由深度可分离的轻量级卷积结构提取，提高特征提取速度。高层图像信息由多尺度模块提取。低级和高级多尺度信息融合后，获得了图像中矸石目标的完整边界。通过标注煤矸图像数据集训练，快速获得放顶煤图像中的矸石准确边界。
放顶煤工作面矸石识别及边界测量模型
混矸率是一个广义的概念，不仅可以用投影面积比表示，还可以用表面积比或者体积比表示。通过统计二维图像中像素点个数，可以得到用投影面积表示的混矸率。实际上，放顶煤工作面后部刮板运输机上煤流中的煤和矸石是三维块体，且相互叠压堆积，所以，通过煤矸二维图像反演煤矸块体三维堆积形态，获得煤流表面的体积混矸率，并且对叠压在煤流内部的体积混矸率进行预测，这是一种提升混矸率测量精度的方法，也是图像识别智能放煤技术有别于且领先于其他监测手段或方法的地方，这将在后面几节展开介绍。
图像识别智能放煤技术涉及到的几种混矸率
3基于立体视觉的照度智能监测与自适应调节
照度是图像识别智能放煤技术中需要考虑的重要因素，照度的准确测量和控制是获得高质量图像和实现高精度识别的前提。在放顶煤工作面放煤过程中，被放出的煤和矸石在后刮板输送机上快速移动，照度测量困难。为此，我们提出了一种利用立体视觉深度测量技术来监测照度的新方法。
放出的煤矸表面的照度值与光源功率有关，也与光源与煤矸表面的距离（光照距离）有关。光源功率可以用功率计来测量。在图像识别智能放煤技术中，基于立体视觉的深度测量技术可以在不增加设备和工作量的前提下完成图像采集工作，在获得距离数据的同时，还可以提取物体的灰度、颜色或纹理特征，实现语义分割。
因此，我们提出了一种基于立体视觉的照度智能监测与自适应调节方法，为图像识别智能放煤技术提供最优照度。在放顶煤工作面，利用图像深度信息确定光照距离，配合功率监测确定实时照度，进而通过调节功率获得最佳照度，然后在最佳照度下对图像进行采集和识别，实现了图像识别智能放煤过程中的照度自适应调节。实际上，如果相机和光源并列放置，那么可以直接用图像深度近似代替光照距离。而如果分散布置，则也可以通过几何关系换算确定光照距离。
基于立体视觉的照度智能监测与自适应调节原理
4顶煤放出规律与放出煤矸块体堆积特征
BBR是综合研究煤岩分界面（Boundary）、顶煤放出体（Body）、顶煤采出率与混矸率（Ratio）及其相互关系的理论，它对于图像识别智能放煤技术十分重要，它可以指导图像采集的时机。图像识别智能放煤技术是通过分析支架放煤口和后部刮板运输机上煤流混矸率来决定是否需要关闭放煤口。实际上，在矸石被放出之前，有较长的一段时间是纯放煤阶段，如果没有出现卡煤、成拱等异常放煤状况，则无需过多干预。上一轮放煤结束后产生大量的细微煤矸粉末，会在本轮放煤初期，也即纯放煤阶段，随着顶煤一起被集中放出，造成短时间内粉尘浓度骤升。因此，通过分析顶煤放出规律，确定煤岩分界面与顶煤放出体形态，计算顶煤的放出量，可以预估每个支架纯放煤的持续时间，在纯放煤阶段，图像采集系统仅间隔时间采集图像，当接近矸石被放出时，增大图像采集频率。镜头的积尘量直接影响到图像质量，而积尘量与环境中的粉尘浓度、镜头在粉尘环境中的暴露时间、除（降）尘装置的性能等有关。粉尘浓度越低、镜头暴露时间越短、除（降）尘装置的性能越好，积尘量越少，采集的图像的清晰度越好。所以，通过预判放煤持续时间来确定图像采集时机，一方面，可以降低对除（降）尘设备与算法的需求与依赖，对于纯放煤阶段可能存在的高浓度粉尘环境，不必实时采集图像，也不必实时分析图像。另一方面，可以减少镜头在粉尘环境中的暴露时间以减少积尘，保证镜头长时间清洁，为图像识别持续提供高质量图像。
基于BBR研究体系，研究顶煤采出率与混矸率的关系，还可以为确定合理的放煤口关闭时间提供依据。适当地放出部分矸石，可以提高顶煤采出率，而混矸率识别正是图像识别智能放煤技术可以实现的、有别于且领先于其他识别手段的一项工作。因此，通过顶煤放出规律研究，可以为图像识别智能放煤技术确定一个合理的混矸率阈值区间，当混矸率处于这个区间时，可以有效提高顶煤采出率且不会大幅增加矸石运输与洗选成本。以BBR理论研究成果为基础，可以有效提高图像识别智能放煤技术的识别精度。
BBR研究体系与图像识别智能放煤技术
5基于二维图像的煤矸块体形状表征模型与三维快速写意重建
煤矸块体的形状影响着顶煤的放出规律和堆积特征，进而影响到图像识别智能放煤技术对后部刮板运输机煤流混矸率的辨识精度。目前在进行放顶煤相关数值模拟研究时，不规则的煤块通常被简化为二维圆盘或三维球体，这与实际情况存在差异。围绕利用图像识别解决智能放煤问题的基本思路，提出了一种基于二维图像的煤矸块体形状表征模型以及一种块体三维快速写意重建方法。
为了区别于精准重建方法，将这种方法称为写意重建，写意重建又有别于完全随机的重建，因为它是在形状特征参数的主动干预下完成的重建，所以具有一定可重复性和科学性。重建后的块体是由若干pebble组成的体素化刚性簇，体素化刚性簇的分辨率（或体素尺寸）影响到块体细节表征效果，分辨率越高（即体素尺寸越小），细节表征越好，但用到的pebble数量也越多，会在一定程度上影响运算效率；反之分辨率越低，牺牲了部分细节特征，但是有利于提高运算效率。因此如何在保证重建精度的前提下，有效减少pebble数量，是提高运算效率的关键。为此，提出了一种有效的方法来优化完善上述重建过程，即气泡破裂法（Bubble burst method, BBM），主要包括吹气泡和戳气泡两个过程。
BBM法示意图6基于多视图像序列的煤矸块体三维精准重建与体积测量
图像识别智能放煤技术的最终目的是计算出后部刮板运输机上的煤流中的矸石块体的体积占比。这涉及到两个关键问题，其一，二维图像中煤矸块体投影面积与三维现实中块体体积的映射关系；其二，煤流中煤矸块体堆积特征，即表面体积混矸率与内部体积混矸率的映射关系。这两个问题中，都涉及到对煤矸块体体积的测量，在上一节中提到，可以通过三维快速写意重建的方法便捷、粗略地生成指定形状的块体模型，进而获得体积数据。实际上，它与煤矸块体样本的形状仍然存在差异，并不是对煤矸块体的完全复刻。所以，如果需要准确获得煤矸块体样本的体积或其他形状特征参数，则需要一种更为精准的三维重建方法。
三维信息的准确测量是实现煤矸块体三维重建的关键。基于图像识别的思路，提供了一种基于多视图像序列的煤矸块体三维精准重建方法。采用普通消费级相机对煤矸块体完成一组多视图像序列的采集，利用不同视角下煤矸块体在二维图像中的侧影轮廓线构建煤矸块体的可视化外壳（Visual hull），实现对煤矸块体真实形状的合理逼近。进一步将图像中煤矸块体的纹理信息映射到可视化外壳上，完成三维精准重建。
基于多视图像序列的煤矸块体三维精准重建示意7煤矸块体三维形态特征与二维形态特征关系
二维和三维形态特征是表征不规则煤矸块体形状的重要指标。二维形态特征很容易从二维图像中获得，但它不能全面反映块体的形状。三维形态特征包含许多指标，对块体的描述更全面，但三维形态特征很难测量，尤其是在放顶煤工作面要求对后部刮板运输机上的煤流进行实时监测的环境下。因此，从二维图像中快速、直接、准确地估计三维形态特征是一个重要的课题。在实验室实验和数值模拟的基础上，揭示了煤矸块体的三维形态特征与二维形态特征之间的关系。
二维形态特征与图像采集的视角有关，即不同视角下的煤矸块体的二维形态特征不同，所以，在分析煤矸块体二维特征的时候，需要首先确定观察视角。在放顶煤工作面，从放煤口放出煤矸块体在经过放落、碰撞后，会倾向于以优势方位（Preferred orientation）堆积在后部刮板运输机上。因此，有必要确定对后部刮板输送机上的煤矸块体的观察视角，而不是随意观察，在优势方位下提取的形状特征才有意义。基于这一假设，利用多视图像序列精准重建了煤矸块体模型，用离散元法进行了自由落体数值计算，确定了具有不同形状特征参数块体的优势方位。
在此基础上，分别计算煤矸块体在优选方位下的二维形态特征和三维形态特征，对两者进行相关分析，揭示二维与三维形态特征之间的关系。结果表明，二维与三维形态特征具有较高的相关性。因此，可以通过对二维图像的分析，估计煤矸块体的三维形态特征，进而修正混矸率数据，作为S2I混矸率高精度预测两步走策略的第1步，实现投影面积混矸率向表面体积混矸率的过渡。
优势方位确定过程
8夹矸识别与异常放煤状态甄别
煤层的赋存条件复杂，不是以理想的、均质的状态存在，所以，图像识别智能放煤技术要具备适应复杂地质或生产环境的能力，比如对夹矸的识别，以及卡矸、堵矸等异常放煤状态的甄别。
夹矸的精准识别对于智能放煤技术很关键。煤层中可能会存在夹矸，有些夹矸的厚度还会很大，甚至会存在多层夹矸的情况。当夹矸的岩性与直接顶相近时，如果将夹矸错误识别为直接顶而停止放煤，会使夹矸上方的煤炭无法放出而造成大量的煤炭损失。提出“三位一体”夹矸智能识别技术，从判别准则层面、软件算法层面以及硬件设备层面，实现对放煤过程中夹矸的精准识别，有效保证采出率、减少煤炭损失。
通常，在没有夹矸的放顶煤工作面，可以通过图像识别获得后部刮板运输机上煤流在某一时刻的瞬时混矸率，用于控制放煤口的动作，而这种判别方法则不适用于含有夹矸的放顶煤工作面。因为如果将瞬时混矸率作为关闭放煤口的指标，则当夹矸被放出时，可能会被误认为是直接顶，此时瞬时混矸率增大甚至超过阈值，进而发出错误的指令。为此，我们提出了“区间混矸率”的概念来代替瞬时混矸率，作为控制放煤口动作的指标。区间混矸率，即一段时间内混矸率的平均值。通过分析一段时间内的混矸率的平均值，而不是某一时刻的混矸率，并结合顶煤放出规律确定合理阈值，可以有效避免因夹矸放出而导致的放煤口过早关闭问题。
在此基础上，可以通过优化算法来提升对夹矸的识别精度，从算法层面区分出顶煤、夹矸和直接顶，从而降低矸石误识别的可能性。当然这有一定适用条件，当它们外观接近，甚至用肉眼都很难区分时，仅仅通过算法优化很难大幅提升识别精度。在生产一线，放煤工人们还会通过感受煤矸撞击掩护梁、尾梁和后部刮板运输机的声音来进行区分。因此，我们也同步开发了声振信号高精度采集装置，采样频率为48kHz，将语音识别、振动识别等其他识别手段或方法与图像识别技术相融合，通过模拟人眼看、耳听与手触等判断过程，更准确地识别夹矸。此外，通过预埋顶煤运移跟踪仪监测顶煤放出情况，也可以降低夹矸在放煤过程中的干扰。
声振信号高精度采集装置9基于边缘AI的图像识别智能放煤关键设备开发
用于分析的图像，是多种因素共同作用下的结果，包括光源、目标物体、环境以及图像采集系统等。高浓度粉尘环境是制约图像识别智能放煤技术发展的主要因素，如何在恶劣条件下获得高质量的图像是实现图像识别智能放煤技术的前提。
在放煤过程中，会产生大量粉尘（煤尘与岩尘）或水雾，它们会不同程度的散射和吸收光线，使得图像中的目标物体（即煤和岩石）在对比度、清晰度等方面受到影响，不利于图像识别。将放顶煤工作面的粉尘（或水雾）划分为3种状态：悬浮在空中的游离尘，吸附在镜头上的吸附尘以及沉降在煤矸表面的固定尘。分别针对这三种状态的粉尘（或水雾）开展科研攻关，从软件算法以及硬件设备出发，提出了一种适用于放顶煤工作面的联合去粉尘方法。
悬浮在空气中的游离尘，包括游离煤尘和游离岩尘，它们会影响图像的亮度、对比度和清晰度，从而影响图像识别的准确性。我们提出了一种新的基于频域先验的单通道Retinex去粉尘算法，解决了Retinex算法在保留图像细节的同时，不能有效地同时去雾和去噪的问题。通过在YIQ空间引入单通道多尺度Retinex颜色恢复算法来恢复小波域的雾状近似分量，采用多尺度卷积增强和快速非局部均值滤波，在保持足够细节的同时，降低细节分量的噪声，最后将无粉尘图像重建到空间域，通过白平衡恢复图像色彩。
此外，还提出了一种空频域联合强化去粉尘算法，并在朱仙庄矿进行了测试。与其他算法相比，所提算法具有更好的去粉尘能力，可以保留飞禽走兽老虎机的细节，同时抑制噪声和光干扰的能力也更强。近年来，一些更智能的算法也被提出并实现了更好的粉尘（或水雾）去除性能。
图像去粉尘效果
基于光学的去雾技术需要对光学成像系统进行改造，然后利用算法对采集到的图像进行恢复。可见光-近红外融合去雾和偏振去雾是去除粉尘（或水雾）的两种经典方法。其中，偏振去雾法具有适应性强、成本低、处理速度快等明显优势。目前，该技术与图像识别智能放煤技术的融合工作正处于实验室测试阶段。
吸附在相机镜头上的吸附尘，主要包括吸附煤尘和吸附岩尘。对于这类粉尘的处理，围绕井下恶劣环境开展技术攻关，并与安徽中科光电色选机械有限公司合作，于2020年研制出能够适应井下高浓度粉尘、水雾环境、具有数据独立处理功能的图像采集系统第一代原理样机—“慧眼一号（Insight-I）”。基于人体仿生学以及边缘AI技术，分别模仿眨眼、揉眼、吹灰等动作，通过高阻隔气动封堵罩、高性能粉尘清扫器、高压吹尘风刀，实现图像采集系统粉尘自主感知与清除功能，并实现了在图像采集端完成数据处理工作，降低了数据传输压力，提升了系统可靠性和响应速度。
慧眼一号原理样机
对于沉降在煤矸表面的粉尘（或水雾）的固定尘，进一步将其划分为煤基固定煤（岩、混合）尘或者岩基固定煤（岩、混合）尘。通过分析顶煤和矸石在不同类型固定尘覆盖条件下图像特征的变化规律，提出了煤矸图像的自适应优化模式，对于采集到的含有固定尘的煤矸图像进行自主修正，提高图像识别智能放煤技术的精度。
基于上述图像识别智能放煤技术基本原理，进一步研发了图像识别智能放煤在线监测软件，图像处理速度25帧/s，实时计算混矸率数据，当混矸率超过预定的区间混矸率阈值时，通过通信模块自动发送中止放煤或者关闭当前放煤口、开启下一放煤口的指令给控制系统。
图像识别智能放煤技术相关成果在淮北矿业股份有限公司朱仙庄矿8105放顶煤工作面、袁店一矿824放顶煤工作面以及开滦集团唐山矿0291放顶煤工作面进行了试验，取得了良好的效果，配合使用顶煤运移跟踪仪，放煤工艺由“人工干预放煤”升级为“智能放煤”，大幅度减少了开采作业人员，顶煤回收率预计可以提高5个百分点以上。
2021年6月，在宁夏煤业枣泉矿、陕煤集团曹家滩煤矿、国神集团黄玉川煤矿、国网能源新疆准东二矿等矿井开展了技术交流，图像识别智能放煤技术将深度结合矿井地质与实际生产条件，制定个性化技术解决方案，在应用过程中不断迭代完善，为实现煤炭行业智能化放顶煤开采持续赋能。
软件界面
作者简介
王家臣，中国矿业大学（北京）采矿工程专业二级教授，博士生导师，副校长。第八届国务院学位委员会矿业工程/石油与天然气工程学科评议组成员、秘书长，教育部高等学校矿业类教学指导委员会副主任委员，全国科学技术名词审定委员会委员。入选国家百千万人才工程、有突出贡献中青年专家、享受国务院政府特殊津贴，全国优秀教师，全国高校黄大年式教师团队负责人，全国教材建设先进个人。获孙越崎能源大奖、美国S.S.Peng国际采矿岩层控制奖；世界煤炭研究联盟主席。
研究方向主要从事煤矿开采、矿山压力与岩层控制、露天矿边坡工程等方面的教学与科研工作主要成果王家臣教授多年来一直专注于放顶煤开采基础理论研究与技术开发工作，建立了顶煤放出的BBR研究体系，发明了顶煤运移跟踪仪及现场实测顶煤回收率的方法，开发了图像识别智能放煤技术；提出了厚煤层开采顶板动载荷计算方法，以及考虑煤壁稳定与顶板控制的支架阻力确定方法；提出了加载与卸载综合作用下的顶煤破碎机理以及顶煤块度预测模型；开发了“两硬”、“三软”、高瓦斯、急倾斜等多种厚煤层放顶煤或大采高开采技术；建立了考虑岩体强度空间变异的露天矿边坡三维可靠性计算方法。获国家级教学成果二等奖1项；获国家科技进步奖一等奖1项、二等奖3项；出版著作4部，译著1部，主编教材3本，发表论文200余篇，授权发明专利20余件。
来源：
王家臣,潘卫东,张国英,杨胜利,杨克虎,李良晖.图像识别智能放煤技术原理与应用[J/OL].煤炭学报:1-16[2022-01-09].DOI:10.13225/j.cnki.jccs.YG21.1530.
