• 论文
主办单位:煤炭科学研究总院有限公司、中国煤炭学会学术期刊工作委员会

基于深度学习的轻量化炮孔智能检测方法

2024-07-30


创新点
1通过对大量炮孔图像数据的分析,设计出新的计算锚框长宽比尺寸的聚类算法模块,更好地适应炮孔的特定尺寸。该模块能够自动聚类炮孔的长宽比尺寸,生成一组优化的锚框参数,这些参数可以使模型更精确地定位和标记炮孔边缘,减少误检和漏检现象,显著提高检测边框回归的准确性。
2为了解决传统检测网络复杂度高、计算量大的问题,结合炮孔检测的特点,设计出以轻量化的MobileNetv3作为主干网络组件的炮孔检测模型,并结合CBAMConvolutional Block Attention Module)注意力机制,使网络能够关注图像中更重要的特征区域,提升检测性能
3为了应对低质量炮孔图片中的噪声和模糊问题,引入了动态非单调聚焦机制的WIoUWise Intersection over Union)损失函数。模型通过动态调整权重,更加关注炮孔图像中难以检测的边界区域,从而显著提高模型检测的精度
4设计了仅含有2个检测头的 MCIW-2 炮孔检测模型,极大地精简了模型结构和参数量,却可以在炮孔识别任务中达到更高的精准度。在工作面现场视频测试中 MCIW-2 模型取得了较好的检测效果,验证了模型的可行性和实用性

长按识别二维码阅读全文

基于深度学习的轻量化炮孔智能检测方法

作者:岳中文,金庆雨,潘 杉,颜文婧,覃逸峰,陈 震1
单位:1. 中国矿业大学 (北京力学与土木工程学院2. 中国矿业大学 (北京人工智能学院3. 北京工商大学 电商与物流学院
研究背景
 RESEARCH  BACKGROUND 
钻爆法是隧道(巷道)工程施工的主要手段。工人在装药作业过程中长期面临着劳动强度大、施工环境恶劣和施工效率低等问题,随着现代化智能信息技术的发展,面向隧道(巷道)施工过程研究智能装药技术和改良隧道(巷道)施工过程中的装药作业方法,可以保障施工人员的健康情况和生命安全。2015年中国提出了“中国制造2025”战略,发展智能制造、智能装备、智能生产是其主要内涵,智能装药符合国家战略,是实现隧道中自动化的智能装药工艺隧道(巷道)施工的必然选择。
目标检测是计算机视觉领域一个重要的研究分支,其任务是判断图像中是否存在需要检测的目标,如果存在目标则输出检测目标所属类别和位置信息,智能装药车中的炮孔识别与定位就是一个目标检测任务。在智能装药的早期研究中,学者已基于传统的信息处理技术实现了炮孔自动识别。ADRIAN等通过使用激光扫描仪测量钻孔,并将它们与预先加载的爆炸计划相匹配,通过“底漆−指示剂组件”实现炮孔定位,将炮孔装药自动化技术的研究推向了新的高度。李鑫等设计了无线遥控寻孔和智能寻孔2种炮孔检测方式,通过基于炮孔特征量的图像识别技术,使用智能工业摄像机和激光传感器来获取炮孔的空间方位。
随着计算能力的提升,智能模型能够处理的数据量也越来越大,基于深度学习的目标检测方法已经在不同的应用领域凸显其卓越的优势。当前主要基于深度学习的目标检测方法根据架构类型的不同可分为2种:以R-CNN(Region-CNN,R-CNN)系列为代表的两阶段目标检测算法,其架构是基于区域建议构建的;以YOLO系列和SSD(Single Shot Detector,SSD)系列为代表的单阶段目标检测算法,其架构是基于回归构建的。近年来,一些基于深度学习的目标检测技术已经被应用到炮孔检测上。张万志通过分别改进SqueezeNet轻量级的卷积神经网络和更深层的ResNet-51网络,构建了基于改进Faster R-CNN的单个炮孔和多个炮孔与多个困难炮孔的目标检测模型,通过进行炮孔图像多尺度、多层特征融合和距离约束的NMS(Non-Maximum Suppression, NMS)等方法的对比实验,获得了对单个炮孔快速高效的识别与定位,通过融合多层特征和基于距离约束NMS多个困难炮孔过滤,得到了高精度和高召回率的多个炮孔和困难炮孔的识别与定位。张也使用R-CNN、Faster R-CNN、YOLOv2和SSD512网络结构分别构建井下矿炮孔识别算法,结果显示YOLOv2与SSD512在检测速度上较Faster R-CNN的快,但是在精度上没有Faster R-CNN的高。
虽然基于深度学习的炮孔检测模型已经具备一定的精度,然而,高精度的检测效果是在复杂深度学习中海量计算参数的支持下实现的,随着深度学习技术的进步,其实现训练和推理的计算成本也越来越高。随着现代工业智能互联网的兴起,越来越多的智能模型需要在资源受限的环境中运行才能够实现在领域中的应用。轻量化炮孔智能检测是一种轻量化网络框架的深度学习技术,可以在保证检测精度和速度的前提下,将炮孔检测模型精简至适合于在嵌入式平台上进行轻量化、实时性部署的智能检测方法。目前,在炮孔检测深度学习模型领域中,针对轻量化炮孔检测模型的相关研究还较少。轻量化高精度炮孔检测模型可部署到智能装药车上,实现在本地完成炮孔检测任务,对提高炮孔检测效率、推动隧道(巷道)工程智能化发展具有重要的意义。在本研究中,笔者面向隧道掌子面的炮孔识别,创新性构建了炮孔智能检测模型MCIW-2,提出炮孔检测的锚框长宽比聚类算法和轻量化炮孔智能检测模型,最终实现了精度高、检测速度快和轻量化部署的炮孔智能检测模型。
摘要
 ABSTRACT

在隧道(巷道)钻爆法施工过程中,智能装药可以取代人工作业,减少装药作业中危险事故的发生。然而,隧道中光线条件差、炮孔目标小和掌子面裂隙等因素会造成智能装药时炮孔的错检和漏检,同时车载计算机有限的算力也是制约炮孔识别大模型使用的难点。MCIW-2深度学习模型,可以解决在隧道掘进作业环境中的高精度炮孔检测和实时性部署问题。模型根据采集到的炮孔图像尺寸特征采取自适应锚框聚类算法优化检测框的长宽比尺寸参数;采用了具有动态非单调聚焦机制的损失函数WIoU(Wise Intersection over Union),通过优化边框回归的损失应对低质量炮孔图片的挑战实现了高精度检测;采用了MobileNetv3-Small网络与CBAM(Convolutional Block Attention Module)注意力机制构建了主干网络结构,减少了模型参数保证了检测准确率,满足车载设备的轻量化部署需求。

经实验证明,MCIW-2模型在炮孔识别精确率方面达到了96.18%,检测速度达到了59 fps。与基准YOLO(You Only Look Once)系列目标检测模型文件最小的模型相比,所构建的轻量化炮孔智能检测模型减小了75.86%,模型文件仅为2.80 Mb,优于YOLO系列的基准目标检测模型。使用MCIW-2深度学习模型对工作面现场视频进行测试,实现了快速、精确地检测炮孔,测试结果表明,该模型适用于智能装药工程的轻量化部署需求,具有良好的适应性,在综合性能方面具有显著优势。

部分图表






 1    炮孔图片四分示意


 2    炮孔图片切割操作流程


 3    轻量化炮孔智能检测模型 MCIW-2 结构


 4    SPP 模块与 SPPCSP 模块的对比


 5    CBAM 注意力网络结构


 6    轻量化炮孔智能检测流程


 7    使用自适应锚框参数的标注效果


 8    微小炮孔检测结果对比


 9    模型 MCIW-2 炮孔检测应用测试效果

作者简介


岳中文,教授,博士生导师,中国矿业大学(北京)力学与土木工程学院副院长。主持或参与完成国家自然科学基金重点、国家重点研发计划、国家自然科学基金面上项目等10多项纵向科研课题的研究。获国家技术发明二等奖1项,国家科技进步二等奖1项,省部级科技一等奖7项,获授权国家发明专利35件,发表SCI/EI检索学术期刊论文90余篇。


研究方向

矿山建设工程、爆破工程和智能建造等


主要成果

致力于岩石爆破基础理论和应用技术研究,创新发展了岩石爆破实验新方法,揭示了爆炸应力波与裂纹相互作用机理;开发出定向断裂控制爆破技术,研发出准楔形复式掏槽爆破技术,发明了超深孔水耦合定向松动预裂爆破技术;合作研发了巷(隧)道高效智能化掘进新装备;解决了巷(隧)道钻爆法施工中“周边成型差、炮孔利用率低、围岩损伤严重”等关键技术难题,实现了巷(隧)道精细化控制爆破。




来源:

岳中文金庆雨潘杉基于深度学习的轻量化炮孔智能检测方法[J]. 煤炭学报202449(5):2247−2256.


责编:王   凡‍‍‍
编辑:赵泽维
审核:张晓宁


  责任编辑:宫在芹

主办单位:煤炭科学研究总院有限公司 中国煤炭学会学术期刊工作委员会

©版权所有2015 煤炭科学研究总院有限公司 地址:北京市朝阳区和平里青年沟东路煤炭大厦 邮编:100013
京ICP备05086979号-16  技术支持:云智互联