煤矿安全Web数据采集技术研究及应用_中国煤炭行业知识服务平台

煤矿安全Web数据采集技术研究及应用

作者

吴克介
单位

煤矿灾害防控全国重点实验室中煤科工集团重庆研究院有限公司
摘要

针对矿井安全分析所需的事故、处罚等不易获取的数据，选择互联网公开的Web数据作为数据源，在分析总结Web查询结果页面具有的视觉特征基础上，提出了一种基于视觉与DOM树的Web数据抽取方法(VDLE)。首先，引入视觉块重心偏移量定位数据区域，然后利用谱聚类算法定位数据区域内结构相似的节点簇，结合文本组织多样性对数据记录进行定位。实验结果表明，VDLE的抽取结果查准率为99%,比D-EEM提高8.51%,比VIDE查准率提高4.32%;VDLE的抽取结果查全率为98.75%,较D-EEM查全率提高13.33%,较ViDE查全率提高8.17%。在此基础上，研发了煤矿安全Web数据采集系统，现场实验结果表明，该系统采集的事故信息弥补完善了矿井安全信息储备，为矿井安全分析奠定了数据基础。
关键词

视觉 DOM树 Web数据抽取煤矿安全事故分析
基金项目(Foundation)

天地科技创新创业资金专项项目（2023-TD-QN010）；2022年新疆维吾尔自治区第三批重点研发任务专项—厅厅、厅地联动项目（2022B03031-3-1）；国家重点研发计划项目（2018YFC0808300）；重庆市技术创新与应用发展专项重点项目（cstc2019jscxmbdxX0007）；
文章目录

1 问题分析
2 基于视觉与DOM树的Web数据采集
2.1 数据区域定位
2.2 数据记录定位
2.3 数据抽取
3 实验
4 数据采集系统架构设计
5 现场应用
6 结论
DOI

10.19389/j.cnki.1003-0506.2024.10.003
引用格式

[1]吴克介.煤矿安全Web数据采集技术研究及应用[J].能源与环保,2024,46(10):14-20.