张立亚,男,副研究员,博士研究生,煤炭科学技术研究院有限公司首席专家,装备分院副总工,工业和信息化部信息通信科学技术委员会委员,工业互联网产业联盟5G+工业互联网工作组副主席,《工矿自动化》杂志青年专家委员会委员,中国矿业大学(北京)校外硕士研究生导师。获得第三十一届孙越崎青年科技奖。从事矿山通信技术与智能矿山技术的研究工作,包括矿井5G通信、融合通信、智能视频分析、煤矿安全监控、应急救援等领域。主持或参与科研项目20余项,获得省部级科技奖项16项,授权国家专利28项,登记软件著作权32项,发表核心期刊论文35篇,其中SCI检索6篇、EI检索6篇。
一
研究背景
煤矿井下胶带运输图像具有照度低、细节不清晰、背景干扰等特点,现有的带式输送机异物检测模型存在精度低、灵活性差、计算量大、优化空间存在差异等问题。GANomaly属于半监督网络,可以在无异常样本训练的情况下实现对异常样本的检测,但存在图像和视频数据集过大的问题。本文对传统GANomaly模型进行改进,提出了一种基于生成对抗网络(GAN)的带式输送机异物检测方法。
二
研究内容
对胶带运输过程视频文件进行预处理,分类得到正常图像、异常图像,制作实验数据集,对改进GANomaly模型进行训练,再通过训练好的模型进行异物检测。改进GANomaly模型由GANomaly基础网络模块、深度可分离卷积残差模块和BN层合并模块组成。通过在卷积神经网络中加入深度可分离卷积残差模块和BN层合并模块,实现对GANomaly模型的轻量化改进。
图1 基于GAN的带式输送机异物检测模型结构
GANomaly模型轻量化改进方法:在GANomaly基础网络模型中加入深度可分离卷积残差模块,采用深度可分离卷积代替原有主干网络中的卷积操作,大幅降低了模型计算量,同时减少了参数的冗余计算,能够明显提高异物检测速度;通过合并多个批量归一化(BN)层,加快模型的收敛迭代速度,提高模型的泛化收敛能力,有效避免梯度消失。
图2 GANomaly基础网络模块
图3 深度可分离卷积残差模块
三
实验结果
有异物图像检测结果表明,带式输送机图像中的异常物体能够被准确地检测出来,图中用红色框标注的白色亮区为带式输送机上工人遗留的扳手,证明了本文方法在带式输送机异物检测上的有效性。
图4 有异物图像检测结果
将改进GANomaly模型与OCSVM、KDE和GANomaly模型分别在相同数据集上进行训练,对比实验结果表明,改进GANomaly模型相较于传统GANomaly模型,在运行速度上提升了6.27%,评价指标F1分数、AUC、Recall和mAP分别提升了19.05%,22.22%,15.00%,17.14%。
图5 模型平均运行时间对比
引用格式
张立亚. 基于生成对抗网络的带式输送机异物检测方法[J]. 工矿自动化,2023,49(11):53-59.
ZHANG Liya. Foreign object detection method for belt conveyor based on generative adversarial nets[J]. Journal of Mine Automation,2023,49(11):53-59.
扫码阅读全文