• 全部
主办单位:煤炭科学研究总院有限公司、中国煤炭学会学术期刊工作委员会
面向煤矿安全隐患文本的预训练语言模型构建
  • 96
  • 作者

    李泽荃刘飞翔赵嘉良祁慧李靖

  • 单位

    华北科技学院河北省矿山智能化开采技术重点实验室华北科技学院矿山安全学院华北科技学院经济管理学院中国矿业大学(北京)能源与矿业学院

  • 摘要
    目前,煤矿各类安全管理信息化平台积累的大量非结构化文本数据并没有得到充分利用。为充分挖掘煤矿安全隐患文本知识,提出了一个基于领域术语词掩码语言建模(DP-MLM)和句子顺序预测建模(SOP)学习机制的煤矿安全领域预训练语言模型(CoalBERT)。利用收集到的110万余条煤矿隐患排查记录数据和自构建的1328个领域术语词词典进行模型训练,并在煤矿安全隐患文本分类和命名实体识别两个任务上分别进行对比实验。实验结果表明:在文本分类实验中,CoalBERT模型总体结果的精准率、召回率和F1值较BERT模型分别提高0.34%、0.21%和0.27%;在命名实体识别实验中,CoalBERT模型的精准率和F1值较BERT模型分别提高3.84%和2.13%。可以看出CoalBERT模型能够有效提升煤矿安全隐患文本语义理解能力,可为煤矿安全领域文本挖掘相关任务场景提供基础参考。
  • 关键词

    BERT模型煤矿安全隐患文本预训练模型任务微调

相关问题
立即提问

主办单位:煤炭科学研究总院有限公司 中国煤炭学会学术期刊工作委员会

©版权所有2015 煤炭科学研究总院有限公司 地址:北京市朝阳区和平里青年沟东路煤炭大厦 邮编:100013
京ICP备05086979号-16  技术支持:云智互联