• 论文
主办单位:煤炭科学研究总院有限公司、中国煤炭学会学术期刊工作委员会
基于改进YOLOv5s+DeepSORT的煤块行为异常识别
  • 作者

    张旭辉闫建星张超万继成王利欣胡成军王力王东

  • 单位

    西安科技大学机械工程学院中煤(天津)地下工程智能研究院陕西煤业化工集团孙家岔龙华矿业有限公司

  • 摘要

    煤块检测方法主要包括传统图像检测方法和深度学习目标检测方法。传统图像检测方法检测精度不高、实时性较差、无法对堆煤进行准确判断;深度学习目标检测方法虽然可以实现实时检测,但没有对煤块的数量、滞留和堵塞状态进行识别,而且识别模型参数较多。针对上述问题,提出了一种基于改进YOLOv5s+DeepSORT的煤块行为异常识别方法。首先通过摄像头和巡检机器人采集煤矿综采工作面带式输送机上煤块视频图像,并制作数据集。然后利用MobileNetV3_YOLOv5s_AF-FPN模型进行煤块图像目标检测:通过MobileNetV3替换原始YOLOv5s主干特征提取网络,减少参数量,提高推理速度;将YOLOv5s中原有的特征金字塔网络改进为增强特征金字塔网络(AF-FPN),以提高YOLOv5s网络对多尺度煤块目标的检测性能。利用DeepSORT进行煤块多目标跟踪:将改进YOLOv5s模型检测后的煤块图像作为DeepSORT的输入进行多目标跟踪,利用DeepSORT对煤块进行状态估计、数据关联匹配和跟踪器参数更新,确定跟踪结果,并对连续跟踪的煤块进行ID编码,对当前帧的煤块数量进行计数。最后在目标跟踪器中取出连续跟踪的目标,设置距离阈值,判断其是否滞留;设置数量阈值,判断其是否堵塞,最终实现煤块滞留和堵塞行为异常识别。利用自建dkm_data2021数据集对基于改进YOLOv5s+DeepSORT的煤块行为异常识别方法的可靠性进行实验验证,结果表明:改进YOLOv5s模型相比YOLOv5s模型平均检测精度提高了1.45%,参数量减少了35.3%,推理加速了12.7%,平均漏检率降低了11.08%,平均误检率降低了11.54%;基于改进YOLOv5s+DeepSORT的煤块行为异常识别方法检测精度为80.1%,可准确识别煤块滞留、堵塞状态,验证了该方法的可靠性。

  • 关键词

    煤块识别煤块目标检测目标跟踪异常行为识别煤块特征提取煤块滞留煤块堵塞深度学习

  • 基金项目(Foundation)
    国家自然科学基金项目(51834006);陕西省重点研发计划项目(2018ZDCXL-GY-06-04);
  • 引用格式
    张旭辉,闫建星,张超,万继成,王利欣,胡成军,王力,王东.基于改进YOLOv5s+DeepSORT的煤块行为异常识别[J].工矿自动化,2022,48(06):77-86+117.DOI:10.13272/j.issn.1671-251x.17915.
  • 相关专题
相关问题

主办单位:煤炭科学研究总院有限公司 中国煤炭学会学术期刊工作委员会

©版权所有2015 煤炭科学研究总院有限公司 地址:北京市朝阳区和平里青年沟东路煤炭大厦 邮编:100013
京ICP备05086979号-16  技术支持:云智互联