矿用智能车辆的工作环境光照条件复杂，在进行井下行人检测时可以通过融合可见光和红外图像，将红外线反射信息和细节纹理信息融合于可见光图像中，改善目标检测效果。传统的可见光和红外图像融合方法随着分解层数增多，会导致图像边缘和纹理模糊，同时融合时间也会增加。目前基于深度学习的可见光和红外图像融合方法难以平衡可见光和红外图像中的特征，导致融合图像中细节信息模糊。针对上述问题，提出了一种基于多注意力机制的可见光和红外图像融合算法(IFAM)。首先采用卷积神经网络对可见光和红外图像提取图像特征；然后通过空间注意力和通道注意力模块分别对提取出来的特征进行交叉融合，同时利用特征中梯度信息计算2个注意力模块输出特征的融合权值，根据权值融合2个注意力模块的输出特征；最后通过反卷积变换对图像特征进行还原，得到最终的融合图像。在RoadScene数据集和TNO数据集上的融合结果表明，经IFAM融合后的图像中同时具备了可见光图像中的背景纹理和红外图像中的行人轮廓特征信息；在井下数据集上的融合结果表明，在弱光环境下，红外图像可以弥补可见光的缺点，并且不受环境中其他光源的影响，在弱光条件下融合后的图像中行人轮廓依旧明显。对比分析结果表明，经IFAM融合后图像的信息熵(EN)、标准方差(SD)、梯度融合度量指标(QAB/F)、融合视觉信息保真度(VIFF)和联合结构相似性度量(SSIMu)分别为4.901 3、88.521 4、0.169 3、1.413 5和0.806 2，整体性能优于同类的LLF-IOI、NDM等算法。

0 引言
1 井下行人数据集构建
1.1数据采集
1.2 数据标注
2可见光和红外图像融合算法
2.1 IFAM算法
2.1.1算法框架
2.1.2 自编码-解码网络
2.1.3 基于多注意力机制的特征融合策略
2.1.4 损失函数设计
2.2 多通道和单通道图像融合
3 实验结果与分析
3.1 评价指标
3.2 实验结果和指标分析
3.3 消融实验分析
4 结论

周李兵,陈晓晶,贾文琪等.用于井下行人检测的可见光和红外图像融合算法[J/OL].工矿自动化:1-11[2023-09-29].DOI:10.13272/j.issn.1671-251x.2023070025.