现有的煤矿井下带式输送机区域违规行为识别方法对特征提取不充分、难以考虑到行为时间差异的问题，导致该区域的违规行为（如攀爬、跨越、倚靠等）识别准确率不高。针对该问题，基于ResNet50模型，提出了一种基于多特征融合时差网络（MFFTDN）的带式输送机区域违规行为识别方法，将多特征融合和时间差分进行结合，对不同时间段的行为进行多特征融合。首先在原始模型ResNet50的第2和第3阶段引入短期多特征融合(STMFF)模块，将来自多个连续帧的时间和特征拼接在一起，再对融合后的特征进行时间差分计算，即相邻帧的特征差值，以在短期内捕捉局部动作变化。然后在原始模型ResNet50的第4阶段引入长期多特征融合（LTMFF)模块，将来自连续帧的短期多特征拼接在一起，再对相邻时间点的特征进行时间差分计算，以获取行为的长期多特征。最后将融合后的特征进行分类，输出识别结果。实验结果表明：① 基于MFFTDN的带式输送机区域违规行为识别方法的平均精度和准确率较原始模型ResNet50分别提高了8.18%和8.47%，说明同时引用STMFF和LTMFF模块，能够有效地提取到不同时间段的多特征信息；② 该识别方法在自建煤矿井下带式输送机区域违规行为数据集上的准确率为89.62%，平均精度为89.3%，模型的参数量为197.2 Mib。③ Grad-CAM热力图显示该识别方法能够更有效地关注到违规行为的关键区域，更精确地捕捉到矿井下胶带区域的违规行为。

0 引言
1．MFFTDN架构
1.1 STMFF模块
1.2 LTMFF模块
2 实验分析
2.1 数据集构建
2.2 实验设置
2.3 消融实验
2.4 对比实验
2.5 可视化结果
3 结论

马天,姜梅,杨嘉怡,等.基于多特征融合时差网络的带式输送机区域违规行为识别[J/OL].工矿自动化,1-9[2024-07-31].https://doi.org/10.13272/j.issn.1671-251x.2023080108.