针对目前图像与振动信号融合的方法在煤矸识别领域应用存在特征融合困难、实时性和模型复杂度不满足实际应用要求等问题，设计了基于多头注意力(MA)的多层长短期记忆（ML-LSTM）模型MA-ML-LSTM。采用经粒子群优化（PSO）算法优化的变分模态分解（VMD）算法对振动信号进行处理，将能量、能量矩、峭度、波形因数与矩阵奇异值作为特征量，并采用一维卷积网络获取振动信息；在多分类网络ResNet-18基础上删除最后的全连接层，用于对煤矸图像进行深度特征提取；通过MA机制和ML-LSTM网络实现图像与振动双通道特征融合，强化各通道重要特征信息的表达。实验结果表明：MA-ML-LSTM模型的平均识别准确率达98.72%，相比传统单一的ResNet，MobilenetV3，1D-CNN，LSTM模型分别高4.60%，7.96%，5.37%，6.11%，相比EMD-RF，IMF-SVM，CSPNet-YOLOv7分别高4.18%，4.45%，3.46%，验证了图像特征与振动频谱多源融合驱动的煤矸识别技术的有效性。

0 引言
1 MA-ML-LSTM模型
1.1 振动信息提取模块
1.2 图像信息提取模块
1.3 特征融合模块
1.3.1 MA机制
1.3.2 ML-LSTM特征融合网络
2 煤矸数据采集与处理
2.1 放顶煤相似模拟平台
2.2 振动信号降噪与特征提取
2.2.1 振动信号降噪
2.2.2 特征提取
2.3数据集构建
3 实验分析
3.1 模型训练
3.2 消融实验
3.3 不同模型对比分析
4 结论

李立宝,袁永,秦正寒,等.图像特征与振动频谱多源融合驱动的煤矸识别技术研究[J/OL].工矿自动化,1-11[2024-12-03].https://doi.org/10.13272/j.issn.1671-251x.2024080081.