目前图像与振动信号融合的方法在煤矸识别领域应用存在特征融合困难、实时性和模型复杂度不满足实际应用要求等问题，对此设计了基于多头注意力(MA)的多层长短期记忆（ML-LSTM）模型MA-ML-LSTM，通过MA机制和ML-LSTM网络实现图像与振动双通道特征融合，强化各通道重要特征信息的表达。

      该模型主要包含3个模块：振动信息提取模块、图像信息提取模块和特征融合模块。振动信息提取模块由一维卷积网络（1D-CNN）、残差链接和最大池化层（Max Pooling）组成，用于提取振动信号数据集；图像信息提取模块选择经典的多分类网络ResNet-18，去除了其最后的全连接层，以便对煤矸图像进行深度特征提取；特征融合模块由MA机制和ML-LSTM组成，用于实现振动特征与图像特征的高效融合。

      按照现场环境建立综放工作面相似模拟平台，在采集振动信号过程中会受到环境噪声干扰。采用变分模态分解（VMD）对信号进行分解去噪，并通过粒子群优化（PSO）算法进行关键参数寻优。

      为了验证各改进模块的有效性，使用相同测试数据集设计消融实验：方案A移除ML-LSTM融合层，将图像、振动特征直接拼接后进行分类；方案B在方案A的基础上加入单层LSTM融合网络，融合图像与振动特征进行分类；方案C在方案B的基础上将单层LSTM变为双层ML-LSTM融合模型；方案D为在方案C的基础上增加MA机制，即本文模型。采用准确率、精确度、召回率、F1值及混淆矩阵验证模型性能。

表1 消融实验分类结果         %

      实验结果显示，方案A准确率为92.10%，表明仅通过简单拼接特征并进行分类，未能充分利用多模态数据的互补信息；方案B准确率提升至95.57%，说明LSTM在处理时间序列和捕获特征间复杂关系方面具有一定优势；方案C准确率进一步提高到97.12%，验证了多层LSTM在提取和融合复杂特征方面的有效性；方案D准确率为98.72%，说明MA机制有效增强了模型对特征间相互关系的捕捉能力。

      将本文模型与经典深度学习分类模型和机器学习模型（ResNet，MobilenetV3，1D-CNN，LSTM）及常用煤矸分类识别模型（EMD-RF，IMF-SVM，CSPNet-YOLOv7）进行比较。本文模型将ResNet与1D-CNN融合，识别准确率大幅提升，相比单一的ResNet，MobilenetV3，1D-CNN，LSTM模型分别高出4.60%，7.96%，5.37%，6.11%，相比EMD-RF，IMF-SVM，CSPNet-YOLOv7分别高出4.18%，4.45%，3.46%，证明特征融合策略有效提升了模型的煤矸识别能力。

表2 不同模型的实验结果            %

      袁永（1983—），男，河南泌阳人，教授，博士研究生导师，研究方向为智能开采、灾害防控，E-mail: cumt-yuanyong@cumt.edu.cn。

      第一作者：李立宝（1999—），男，山西晋中人，硕士研究生，研究方向为智能开采，E-mail: ts22020031a31tm@cumt.edu.cn。

引用格式：李立宝，袁永，秦正寒，等. 图像特征与振动频谱多源融合驱动的煤矸识别技术研究[J]. 工矿自动化，2024，50（11）：43-51.

LI Libao, YUAN Yong, QIN Zhenghan, et al. Research on coal-gangue identification technology driven by multi-source fusion of image features and vibration spectrum[J]. Journal of Mine Automation，2024，50（11）：43-51.