煤炭异物RGB图像缺乏目标空间与边缘信息，待检目标与背景之间颜色、纹理相似，对比度低，待检目标存在相互重叠及遮挡等现象，导致煤炭异物特征提取不充分，现有异物检测方法难以取得理想效果。针对上述问题，提出一种基于跨模态注意力融合的煤炭异物检测方法。通过引入Depth图像构建RGB图像与Depth图像的双特征金字塔网络（DFPN），采用浅层的特征提取策略提取Depth图像的低级特征，用深度边缘与深度纹理等基础特征辅助RGB图像深层特征，以有效获得2种特征的互补信息，从而丰富异物特征的空间与边缘信息，提高检测精度；构建了基于坐标注意力与改进空间注意力的跨模态注意力融合模块（CAFM），以协同优化并融合RGB特征与Depth特征，增强网络对特征图中被遮挡异物可见部分的关注度，提高被遮挡异物检测精度；最后使用区域卷积神经网络（R-CNN）输出煤炭异物的类别、回归与分割结果。实验结果表明：在检测精度方面，所提方法的平均分割精度AP相较两阶段模型中较优的Mask transfiner高出3.9%；在检测效率方面，所提方法的单帧检测时间为110.5 ms，能够满足异物检测实时性需求。基于跨模态注意力融合的煤炭异物检测方法能够以空间特征辅助色彩、形状与纹理等特征，准确识别煤炭异物之间及煤炭异物与输送带间的差异，从而有效提高对复杂特征异物的检测精度，减少误检、漏检现象，实现复杂特征下煤炭异物的精确检测与像素级分割。

0 引言
1 煤炭异物检测方法
1.1 DFPN
1.2 CAFM
1.3 检测子网络
2 实验结果与分析
2.1 数据采集与处理
2.2 网络参数设置
2.3 煤炭异物检测效果定量分析
2.3.1 特征提取消融实验
2.3.2 特征融合消融实验
2.4 不同模型性能对比
2.5 煤炭异物检测效果定性分析
3 结论