“全矿井智能视频分析技术”专题_中国煤炭行业知识服务平台

“全矿井智能视频分析技术”专题

来源：工矿自动化

智能化是煤矿发展的方向，而智能视频分析是促进煤矿智能化的有效途径。全矿井智能视频分析技术具有实时监控、预警和决策支持能力，有助于提高矿山企业的安全性、生产效率、资源利用效率和环境可持续性。详细介绍了全矿井智能视频分析的关键技术，包括视频采集设备、视频预处理、视频压缩与编码等视频采集与处理技术，目标检测与跟踪、运动检测与分析、物体识别与分类等视频分析基础技术，行为识别与分析、事件检测与警报、视频监控与布防等高级视频分析技术。研发了集成视频识别分析和工业联动控制功能的矿山智脑AI视觉智能服务平台，介绍了智能视频分析技术在智能探放水系统和探放瓦斯系统、煤岩识别与截割系统、掘进工作面、综采工作面、煤流运输系统、矿井提升机系统、辅助运输系统、选煤厂、智能化装车配煤系统等矿井生产场景中的应用。分析指出目前全矿井智能视频分析技术在视频质量、复杂背景、实时性要求、数据隐私和安全、系统可靠性与稳定性等方面仍面临挑战。建议未来加强算法提升和优化、多模态数据融合、实时分析和边缘计算、强化学习和自主决策、数据隐私和安全保护、硬件设备和传感器技术等方面的研究，以全面推动全矿井智能视频分析技术的发展，促进矿山智能化进程。

行业视野: 智能化
类别; 106个
关键词; 76位
专家; 20篇
论文; 3709IP
点击量; 1206次
下载量

基于Real−ESRGAN的岩石CT图像超分辨率重建

作者(Author)：李刚, 张亚兵, 杨庆贺, 邹军鹏, 才天, 刘航, 赵艺鸣

摘要：图像采集设备和地质环境等因素导致岩石CT图像分辨率低、细节不清晰，而现有图像超分辨率重建方法在表征内部高密度矿物质颗粒和孔裂隙时容易丢失细节。针对上述问题，采用改进的增强型超分辨率生成对抗网络（Real−ESRGAN）对岩石CT图像进行超分辨率重建。选取山西晋城无烟煤矿业集团有限责任公司赵庄煤矿15号煤层底板的砂岩为研究对象，研究不同图像放大倍数下Real−ESRGAN的重建性能，并将其与超分辨率卷积神经网络（SRCNN）、超分辨率生成对抗网络（SRGAN）、增强型超分辨率生成对抗网络（ESRGAN）、增强的深度超分辨率网络（EDSR）等算法进行对比。试验结果表明：① 使用Real−ESRGAN重建的高分辨率图像在视觉效果上比原始CT图像更清晰，重建图像中裂隙轮廓和高密度矿物质颗粒更加突出，图像可视性得到了极大提高。② 在客观评估方面，Real−ESRGAN算法在2倍超分辨率重建后图像的峰值信噪比（PSNR）高达36.880 dB，结构相似性（SSIM）达0.933。但随着放大倍数的增加，6倍超分辨率重建图像上的孔隙出现模糊，PSNR降至32.781 dB，SSIM为0.896。③ Real−ESRGAN重建超分辨图像的孔隙率和喉道长度分布占比与原始CT图像相比非常接近，保留了岩石重要的细观结构信息。

免费下载

工矿自动化

2023年第11期

193

53
矿井井下非均匀照度图像增强算法

作者(Author)：苗作华, 赵成诚, 朱良建, 刘代文, 陈澳光

摘要：矿井井下视频采集过程中由于照明系统分布不均匀、环境中存在大量粉尘和雾气，导致监控画面图像存在局部光线过曝、局部亮度不足、对比度低和边缘信息弱等问题。针对上述问题，提出了一种矿井井下非均匀照度图像增强算法。该算法基于Retinex−Net网络结构改进，具体包括非均匀光照抑制模块（NLSM）、光照分解模块（LDM）和图像增强模块（IEM）3个部分：NLSM对图像中人工光源局部非均匀光照进行抑制；LDM将图像分解为光照层和反射层；IEM对图像光照层增强，经伽马校正，最终得到增强图像。在NLSM和LDM中均采用Resnet作为网络基础架构，并顺序引入了卷积注意力机制中通道注意力模块和空间注意力模块，以增强对图像光照特征关注度和特征选择的效率。实验结果表明：① 选取MBLLEN，RUAS，zeroDCE，zeroDCE++，Retinex−Net，KinD++及非均匀照度图像增强算法对多种场景（井下运输环境场景、单光源巷道场景、多光源巷道场景、矿石场景）图像进行增强处理及定性分析，分析结果指出非均匀照度图像增强算法能够避免人工光源区域的过度增强，未在光源区域产生晕染和模糊现象，不易产生色偏，对比度适中，画面视觉效果更真实。② 选取信息熵（IE）、平均梯度（AG）、标准差（SD）、自然图像质量评价指标（NIQE）、结构相似性（SSIM）和峰值信噪比（PSNR）作为评价指标，定量比较图像增强画面质量。结果表明非均匀照度图像增强算法在多种场景下处于相对领先地位。③ 消融实验结果表明，非均匀照度图像增强算法在NIQE，SSIM，PSNR这3个评价指标上均获得了最优结果。

免费下载

工矿自动化

2023年第11期

172

33
基于去尘估计和多重曝光融合的煤矿井下图像增强方法

作者(Author)：郝博南

摘要：煤矿井下粉尘和暗光等因素导致采集的图像质量低，而现有图像增强方法存在图像细节丢失、局部特征不清晰、无法消除噪声、去尘效果不理想等问题。针对上述问题，提出了一种基于去尘估计和多重曝光融合的煤矿井下图像增强方法。该方法通过尘化图像简易模型及暗原色理论，并引入自适应衰减系数估算出图像透射率，再根据透射率分布，通过尘化图像简易模型复原物体的原始图像，将煤矿井下图像中的粉尘去除；利用多重曝光融合算法为曝光不足的原始图像生成一组不同曝光比的图像，并引入权值矩阵将这些不同曝光比的图像与原始图像进行融合，有效提升暗光图像质量。实验结果表明：相较于直方图均衡法、带色彩恢复的Retinex（MSRCR）方法、改进Retinex方法，该方法在去尘及暗光增强方面效果较好，颜色还原度较高，白边和过曝等现象得到抑制，且增强后的图像平均对比度分别提升了169.00%，42.50%，10.88%，平均图像熵分别提升了51.80%，16.45%，8.99%，平均亮度顺序误差（LOE）分别降低了31.01%，16.94%，7.83%，同时该方法运算耗时最短。

免费下载

工矿自动化

2023年第11期

143

28
基于改进STDC的井下轨道区域实时分割方法

作者(Author)：马天, 李凡卉, 杨嘉怡, 张杰慧, 丁旭涵

摘要：目前中国大部分井下轨道运输场景较为开放，存在作业人员、散落物料或煤渣侵入到轨道上的问题，从而给机车行驶带来威胁。煤矿井下轨道区域多呈线性或弧形不规则区域，且轨道会逐渐收敛，采用目标识别框或检测轨道线的方法划分轨道区域难以精确获得轨道范围，采用轨道区域的分割可实现像素级别的精确轨道区域检测。针对目前井下轨道区域分割方法存在边缘信息分割效果差、实时性低的问题，提出了一种基于改进短期密集连接（STDC）网络的轨道区域实时分割方法。采用STDC作为骨干架构，以降低网络参数量与计算复杂度。设计了基于通道注意机制的特征注意力模块（FAM），用于捕获通道之间的依赖关系，对特征进行有效的细化和组合。使用特征融合模块（FFM）融合高级语义特征与浅层特征，并利用通道和空间注意力丰富融合特征表达，从而有效获取特征并减少特征信息丢失，提升模型性能。采用二值交叉熵损失、骰子损失及图像质量损失来优化详细信息的提取，并通过消除冗余结构来提高分割效率。在自建的数据集上对基于改进STDC的轨道区域实时分割方法进行验证，结果表明：该方法的平均交并比（MIoU）为95.88%，较STDC提高了3%；参数量为6.74 MiB，较STDC降低了18.3%；随着迭代次数增加，优化后的损失函数值持续减小，且较STDC降低更为明显；基于改进STDC的轨道区域实时分割方法的MIoU达95.88%，帧速率为37.8帧/s，参数量为6.74 MiB，准确率为99.46%。该方法可完整识别轨道区域，轨道被准确地分割且边缘轮廓完整准确。

免费下载

工矿自动化

2023年第11期

151

49
基于改进SOLOv2的煤矿图像实例分割方法

作者(Author)：季亮

摘要：现有的图像分割方法用于清晰度较好的煤矿井下图像时效果良好，但应用于环境复杂的煤矿井下时，获取的图像大多较模糊且目标物体轮廓不清晰，从而影响目标物体的分割精度。针对上述问题，提出了一种基于改进SOLOv2的煤矿图像实例分割方法。将SOLOv2模型的ResNet−50网络替换为ResNeXt−18网络，从而精简网络层数，提升模型的推理速度；引入坐标注意力（CA）模块，以提升模型特征提取能力，保留精确的位置信息，提高模型的图像分割精度；采用ACON−C激活函数替换ReLU激活函数，从而使神经元之间的特征得以充分组合，增强模型的特征表达能力，进一步提高模型的图像分割精度。将改进SOLOv2模型部署在嵌入式平台上进行煤矿图像分割实验，相较于SOLOv2模型，改进SOLOv2模型的Mask AP（掩膜平均精度）提高了1.1%，模型权重文件减小了83.2 MiB，推理速度提高了5.30帧/s，达26.10 帧/s，在煤矿图像分割精度和推理速度上均有一定提升。

免费下载

工矿自动化

2023年第11期

172

44
基于SD−YOLOv5s−4L的煤矿井下无人驾驶电机车多目标检测

作者(Author)：赵伟, 王爽, 赵东洋

摘要：为解决煤矿井下无人驾驶电机车由于光照不均、高噪声等复杂环境因素导致的多目标检测精度低及小目标识别困难问题，提出一种基于SD−YOLOv5s−4L的煤矿井下无人驾驶电机车多目标检测模型。在YOLOv5s基础上进行以下改进，构建SD−YOLOv5s−4L网络模型：引入SIoU损失函数来解决真实框与预测框方向不匹配的问题，使得模型可以更好地学习目标的位置信息；在YOLOv5s头部引入解耦头，增强网络模型的特征融合与定位准确性，使得模型可以快速捕捉目标的多尺度特征；引入小目标检测层，将原三尺度检测层增至4层，以增强模型对小目标的特征提取能力和检测精度。在矿井电机车多目标检测数据集上进行实验，结果表明：SD−YOLOv5s−4L网络模型对各类目标的平均精度均值（mAP）为97.9%，对小目标的平均检测精度（AP）为98.9%，较YOLOv5s网络模型分别提升了5.2%与9.8%；与YOLOv7，YOLOv8等其他网络模型相比，SD−YOLOv5s−4L网络模型综合检测性能最佳，可为实现矿井电机车无人驾驶提供技术支撑。

免费下载

工矿自动化

2023年第11期

194

86
基于改进KCF的多目标人员检测与动态跟踪方法

作者(Author)：刘毅, 庞大为, 田煜

摘要：针对煤矿巷道光照不足、目标尺度变化剧烈、目标容易被遮挡和矿灯干扰等因素，导致对于井下的目标检测和跟踪存在成功率和准确度低的问题，提出一种基于改进核相关滤波（KCF）算法的多目标人员检测与动态跟踪方法，为避免井下复杂环境中由于光照不均引起检测失败，在改进的KCF算法中引入SSD检测算法，以提升对多目标人员检测能力。① 读取待跟踪视频序列，使用经过井下数据集训练后的SSD算法检测图像中的目标，若没有发现目标则继续读取下一帧。② 将检测到的目标放入跟踪器中，对图像进行预处理，通过比较将所有的检测框按照设定的阈值进行打分，并根据分值从高到低依次排列，高分的检测结果直接输出，低分的检测结果用于滤除不良信息，以提升检测速度。③ 通过KCF跟踪预测目标M帧后清空跟踪器，再重新进行目标检测。通过检测算法和跟踪算法的叠加，保证对目标的持续跟踪能力。实验结果表明：① 该方法最后的损失值稳定在1.675附近，检测结果较为稳定。② 经过训练后的SSD算法识别精度较训练前的SSD算法识别精度提高了52.7%。③ 该方法对矿井人员检测成功率、跟踪准确率分别为87.9%，88.9%，均高于其他4种算法（KCF、CSRT、TLD及MIL）的检测成功率、跟踪准确率。④ 该方法在重叠阈值较低时具有较高成功率，直至重叠阈值大于0.8时，成功率大幅下降，这是因为矿井中环境多样，想要完全符合标注的框有一定难度。实际应用结果表明：在井下煤矿巷道光照不足、目标尺度变化剧烈、容易被遮挡和受矿灯干扰等复杂环境中，该方法具有较高的适用性。

免费下载

工矿自动化

2023年第11期

209

31
基于多模态特征融合的井下人员不安全行为识别

作者(Author)：王宇, 于春华, 陈晓青, 宋家威

摘要：采用人工智能技术对井下人员的行为进行实时识别，对保证矿井安全生产具有重要意义。针对基于RGB模态的行为识别方法易受视频图像背景噪声影响、基于骨骼模态的行为识别方法缺乏人与物体的外观特征信息的问题，将2种方法进行融合，提出了一种基于多模态特征融合的井下人员不安全行为识别方法。通过SlowOnly网络对RGB模态特征进行提取；使用YOLOX与Lite−HRNet网络获取骨骼模态数据，采用PoseC3D网络对骨骼模态特征进行提取；对RGB模态特征与骨骼模态特征进行早期融合与晚期融合，最后得到井下人员不安全行为识别结果。在X−Sub标准下的NTU60 RGB+D公开数据集上的实验结果表明：在基于单一骨骼模态的行为识别模型中，PoseC3D拥有比GCN（图卷积网络）类方法更高的识别准确率，达到93.1%；基于多模态特征融合的行为识别模型对比基于单一骨骼模态的识别模型拥有更高的识别准确率，达到95.4%。在自制井下不安全行为数据集上的实验结果表明：基于多模态特征融合的行为识别模型在井下复杂环境下识别准确率仍最高，达到93.3%，对相似不安全行为与多人不安全行为均能准确识别。

免费下载

工矿自动化

2023年第11期

197

59

推荐专家

李刚

赵伟

推荐专题

亮点论文

推荐企业

安科兴业

“全矿井智能视频分析技术”专题

煤问提

煤传媒

煤视界

科技创新50强

会员中心