针对煤矿井下低照度图像亮度提升和细节增强的需求,提出基于Transformer和自适应特征融合的图像增强方法。提出生成对抗式主体模型框架,使用目标图像域而非单一参考图像驱动判别器监督生成器的训练,实现对低照度图像的增强。
基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法
1. 中国矿业大学 (北京) 机电与信息工程学院
2. 中国矿业大学 计算机科学与技术学院
3. 中国石油大学 (华东) 石油工程学院
4. 国家矿山安全监察局内蒙古局
高质量矿井影像为矿山安全生产提供保障,也有利于提高后续图像分析技术的性能。矿井影像受低照度环境的影响,易出现亮度低,照度不均,颜色失真,细节信息丢失严重等问题。针对上述问题,提出一种基于Transformer和自适应特征融合的矿井低照度图像亮度提升和细节增强方法。基于生成对抗思想搭建生成对抗式主体模型框架,使用目标图像域而非单一参考图像驱动判别器监督生成器的训练,实现对低照度图像的充分增强;基于特征表示学习理论搭建特征编码器,将图像解耦为亮度分量和反射分量,避免图像增强过程中亮度与颜色特征相互影响从而导致颜色失真问题;设计CEM-Transformer Encoder通过捕获全局上下文关系和提取局部区域特征,能够充分提升整体图像亮度并消除局部区域照度不均;在反射分量增强过程中,使用结合CEM-Cross-Transformer Encoder的跳跃连接将低级特征与深层网络处特征进行自适应融合,能够有效避免细节特征丢失,并在编码网络中添加ECA-Net,提高浅层网络的特征提取效率。制作矿井低照度图像数据集为矿井低照度图像增强任务提供数据资源。试验显示,在矿井低照度图像数据集和公共数据集中,与5种先进的低照度图像增强算法相比,该算法增强图像的质量指标PSNR、SSIM、VIF平均提高了16.564%,10.998%,16.226%和14.438%,10.888%,14.948%,证明该算法能够有效提升整体图像亮度,消除照度不均,避免颜色失真和细节丢失,实现矿井低照度图像增强。
教授
田子建,博士,中国矿业大学(北京)教授。主持承担国家自然科学基金资助项目3项。兼任第五届国家安全生产专家组(煤矿机电组)成员,第四届煤炭工业技术委员会矿山机电与辅助运输专家委员会委员,兼任中国煤炭工业技术委员会信息与自动化专家委员会委员和联络员。2019年荣获“庆祝中华人民共和国成立70周年”纪念章,2016年作为高级访问学者在美国加州大学梅赛德分校交流。
矿井监控与通信
获国家科技进步二等奖2项、教育部科技进步一等奖1项、中国煤炭工业协会科技进步一等奖4项;第1作者公开发表论文40余篇(其中SCI、EI收录25篇);第1作者出版著作2部,参编著作3部;主持修订国家标准1项,参与制定煤炭行业标准、安全生产行业标准和能源行业标准共30项,第1发明人授权专利40项,其中发明专利22项。
田子建,吴佳奇,张文琪,等. 基于 Transformer 和自适应特征融合的矿井低照度图像亮度提升和细节增强方法[J]. 煤炭科学技术,2024,52(1):297−310.
TIAN Zijian,WU Jiaqi,ZHANG Wenqi, et al. An illuminance improvement and details enhancement method on coal mine low-light images based on Transformer and adaptive feature fusion[J]. Coal Science and Technology,2024,52(1):297−310.