(1)构建了煤矿井下图像多级特征融合检测网络与特征增强模块,解决井下低光与非均匀光照图像对比度低、特征信息不明显带来的图像特征点提取困难与可区分性差的问题;
(2)提出了基于权重网格运动统计的多阶段匹配优化策略,引入匹配得分因子增强判识能力,并结合运动平滑性约束剔除误匹配信息,解决重复纹理感知混淆问题,获得更准确的图像匹配结果。
融合多级特征增强与权重网格统计的煤矿井下图像匹配
李和平1,2,3,4,洪劭楸1,2,3,程健1,2,3,4,安宁2,3,4,赵海龙1,2,3,修海鑫2,3,4
煤炭科学研究总院
煤炭科学研究总院有限公司 矿山人工智能研究院
煤炭智能开采与岩层控制全国重点实验室
天地科技股份有限公司
图像特征提取与匹配是实现煤矿井下视频和图像拼接、视觉定位导航等任务的一项关键技术,但受井下低光、不均匀光照以及重复纹理等环境因素的影响,相机采集到的图像往往对比度低、纹理信息不明显,存在特征点提取困难、误匹配率高的问题。对此,文章提出一种融合多级特征增强与权重网格统计的方法,以实现煤矿井下图像的有效匹配。首先,设计多级特征检测网络,在堆叠网络层的基础上引入可变形卷积层,保证特征的旋转不变性;其次,利用特征增强模块,将提取的特征点与描述子信息编码投影到高维空间,并通过Transformer网络增强特征间的可区分性;最后,采用基于权重网格的多阶段匹配优化策略,结合匹配质量因子与运动平滑性约束对初步匹配结果进行筛选,解决井下重复纹理感知混淆的问题,提高相似区域间的误匹配判识能力。在井下实际采集数据集和LOL、HPatches公开数据集上的大量实验表明:所提图像匹配方法具有更高的精度与鲁棒性。具体地,相较于ORB、SIFT、ASLFeat和Superpoint算法,所提特征提取方法的平均精度分别提升了33.07%、69.78%、17.65%和33.52%;相较于FLANN、BF+KNN、BF+RANSAC和BF+GMS特征匹配方法,所提特征匹配算法的平均精度分别提升了19.66%、23.26%、4.16%和18.46%。
李和平
教授级高工
博士生导师
李和平,博士,教授级高工,博士生导师,1978年2月生,湖北荆门人。2007年获得中国科学院自动化研究所模式识别与智能系统专业博士学位并留所工作,2021年进入煤炭科学研究总院有限公司矿山人工智能研究院工作。长期从事三维视觉、机器人视觉定位导航方面的研究。
井下智能感知与协同计算、高精地图重构和定位导航
主持研发了煤矿井下感算一体轻量化智能计算与应用、矿井嵌入式视觉监测等平台软件。先后主持或参与国家科技支撑计划、863计划、国家重点研发计划、国家自然基金等国家级项目及中国煤炭科工集团重点项目20项和企业项目5项。在国内外重要核心期刊和会议上发表SCI/EI论文40余篇;申请发明专利近40件(授权26件)、软件著作权5项。
引用格式
李和平,洪劭楸,程 健,等. 融合多级特征增强与权重网格统计的煤矿井下图像匹配[J]. 煤炭科学技术,2024,52(11):128−139.
LI Heping,HONG Shaoqiu,CHENG Jian,et al. Coalmine image matching by fusing multi-level feature enhancement and weighted grid statistics[J]. Coal Science and Technology,2024,52(11):128−139.