长按识别二维码阅读全文
一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法
煤炭是我国的基础能源和工业原料,长期以来为经济社会发展和国家能源安全稳定供应提供了有力保障,而煤矿智能化是实现煤炭工业高质量发展的核心技术支撑。但井工煤矿生产是一个复杂的巨系统,实现智能开采的前提是必须保障生产安全,这依赖于对生产过程的实时动态监测,其中计算机视觉的加入对精准监测起到了至关重要的作用。不过煤矿井下皮带运输系统受粉尘、水雾和低照度环境影响,所采集的图像又因大气散射作用而严重降质,带面物体的特征难以辨认,视觉效果差。因此为充分发挥监测图像在煤矿井下生产运输安全保障中的作用,更好地实现井下生产运输系统的智能化,有必要对煤矿井下尘雾环境中的监测图像进行高质量去尘雾处理。
总体上,煤矿井下图像去尘雾方法主要包括3类,即基于图像增强、基于深度学习和基于物理模型的方法。基于图像增强的去尘雾方法是将尘雾图像看作降质图像,使用Retienx算法及衍生算法来调整提升图像的视觉效果。虽能够增强图像的对比度,突出物体的特征,但这种方法会造成图像部分信息损失,使图像失真。基于深度学习的去尘雾方法通过机器学习来得到清晰图像和尘雾图像间的映射关系,然后指导图像去尘雾。虽可以得到不错的去尘雾效果,但数据选择、制备和模型调整过程复杂且存在一定局限性,可视化程度不高,可解释性不强。
基于物理模型的去尘雾方法通过求解图像降质过程的逆过程进行去雾,可追溯到由MCCARTNEY提出的大气散射模型,后经NAYER和NARASIMHAN等进行了较为详细的描述及推导,被广泛应用于图像去尘雾中。其中最经典的是HE等提出的暗通道先验去雾,随后HE等在求取透射率部分提出使用引导滤波进行优化,简化了运算过程,提高了效率,去雾效果良好。其实在HE等之前,已有许多去雾方法,如TAN和FATTAL等,所提方法虽对尘雾图像有一定去雾效果,但去雾后图像或在景深突变边界存在Halo效应或受限于输入图像统计特性,去雾估计不可靠,去雾后图像质量不佳,且存在计算过程复杂和耗时长等问题,难以用于实际。继HE等之后,许多基于暗通道的改进去雾方法陆续出现,ZHOU等提出了一种分割和补偿传输算法对暗通道先验失效进行补充,CHEN等提出了一种基于不同颜色波长补偿算法以改善暗通道先验对具有相同透射率的尘雾图像产生色偏的问题。经上述方法去雾后的图像虽在明亮区域降低了颜色失真问题,但因暗通道先验的假设,去雾后图像往往整体偏暗,图像细节丢失严重。
为了对暗通道先验进行补充,颜色衰减先验及亮通道先验先后被提出。ZHU等采用了颜色衰减先验,通过建立线性模型估计场景深度,利用大气散射模型进行尘雾去除。赵猛等将颜色衰减先验和日光物理模型结合进行综采工作面浓雾区域去尘雾,尽管取得了不错去尘雾效果,但参数设置复杂,且不易实现实时去雾。YU等采用亮通道先验,进行暗通道先验失效区域补充,但透射率的不准确融合导致去雾图像在暗区域阴影增大,且在亮区域存在亮度损失问题。为解决这一问题,赵波等在透射率融合中提出分段伽马矫正权值法,解决了去雾图像暗区域阴影增大问题,但在暗区域的去雾效果不理想,且由于使用了加权聚合引导滤波导致效率低。
综上所述,针对低照度及尘雾浓度不均的煤矿井下视觉监测,笔者提出一种基于暗亮通道分割融合先验方法进行尘雾去除及图像增强。使用修正通道差对输入图像进行引导以获取全局大气光强,并将暗、亮通道透射率分区域进行融合,通过亮度均衡及饱和度矫正完成图像去尘雾及增强,为目标检测奠定基础。
受煤矿井下粉尘、水雾和低照度环境影响,对皮带运输系统的监测图像精准识别极为困难。针对现有去尘雾方法的图像处理结果和效率欠佳的问题,提出一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法。
首先利用阈值分割结合伽马变换修正通道差,解决因低照度环境影响导致的尘雾浓度较大区域与其他区域间像素值差异不明显的问题,修正后通过引导尘雾图像做引导滤波得到更加符合实际情况的全局大气光强;然后为解决暗通道先验在尘雾浓度较大区域失效问题,引入亮通道先验进行补充,使用通道分量来辅助暗通道及亮通道透射率融合,避免因多次分割而导致的边缘像素归属问题;最后将去雾后RGB图像转至HSV空间,对亮度分量进行直方图均衡化并将均衡化前后的亮度分量进行加权融合,采用客观指标评价,选择最优聚合权值进行聚合,同时考虑去雾过程中饱和度损失和亮度分量与饱和度分量间的相关性提出饱和度自适应矫正函数,对图像饱和度进行矫正,色调分量保持不变,随后将图像转回至RGB空间,得到亮度适中、信息保留丰富和色彩鲜艳的图像;为验证所提方法的有效性,采用主观视觉、客观指标和目标检测精度及置信度进行算法对比,实验结果表明所提方法在上述4个指标上均优于被对比算法,其图像细节保留丰富,图像视觉观感更佳。
图 1 本文所提方法的原理与主要流程
图 2 全局大气光强估计过程
图 3 基于暗亮通道先验获取的透射率
图 4 基于通道分量分割融合暗亮通道获取透射率过程
图 5 不同聚合权值下获得的图像客观指标对比
图 6 饱和度分量矫正前后对比
图 7 实验室图像数据集制备平台
图 8 去雾前后静动态图像对比
图 9 不同算法去雾前后图像对比
图 10 各算法去尘雾后图像指标对比
图 11 不同去雾算法下不同模型的检测结果对比
樊红卫,男,1984年10月生,陕西扶风人,西安科技大学机械工程学院专任教师,工学博士,博士后,副教授,硕士生导师,项目博士生导师。现任仪器科学与技术系主任、学术带头人,设备智能检测与控制研究所副所长,陕西省矿山机电装备智能检测与控制重点实验室秘书,陕西省秦创原“煤矿装备智能故障诊断”队伍首席科学家,陕西省煤矿机电设备智能检测与控制重点科技创新团队核心成员,入选陕西省高校青年杰出人才支持计划、陕西省振动工程学会青年科技奖等。兼任《煤炭学报》等5个期刊青年编委/客座副主编,30余个国内外期刊/会议审稿专家,IEEE member,中国机械工程学会、中国仪器仪表学会、中国煤炭学会、中国自动化学会、中国人工智能学会、中国电子学会、中国振动工程学会、中国工程机械学会等(高级)会员/专委会委员。主持国家自然科学基金项目2项及其他各类科研项目10余项,发表SCI论文40余篇、EI论文50余篇,申请专利和软著40余项,编写教材和专著5部,完成科技成果鉴定8项,获各类科技成果和学术论文奖励10余项。
研究方向
矿山机电装备监测监控与智能运维
主要成果
围绕采煤机、通风机、皮带机等煤矿设备,开展了基于数值模拟、信号处理、机器学习、机器视觉等的机械故障机理与智能故障诊断方法研究,构建了电机、轴承、齿轮、转子等关键部件单一/复合故障、定速定载、变速变载等多种工况振动、电流、图像等运行状态数据集10余个,开发了小波分析、经验模态分解、卷积神经网络、生成对抗网络、YOLO等实用化算法10余个,研制了旋转机械电磁、机械式自动平衡装置及其嵌入式监控系统2套,探索了基于云计算、云边协同、数字孪生的矿山机电装备智能运维技术工业应用方案。
来源:
樊红卫,张超,曹现刚,等. 一种基于暗亮通道分割融合的低照度环境图像去尘雾及增强方法[J]. 煤炭学报,2024,49(4):2167−2178.