融合BERT的网络空间安全实体识别方法_中国煤炭行业知识服务平台

融合BERT的网络空间安全实体识别方法

作者

廉龙颖孔萨郭京伟
单位

黑龙江科技大学计算机与信息工程学院
摘要

实体识别是知识图谱构建的核心任务。在Bi-LSTM+CRF模型基础上,融合BERT预训练语言模型和神经网络抽取网络空间安全实体,利用BERT模型对标注语料预处理,生成字向量,通过输入Bi-LSTM和CRF模型提取上下文特征与标注出12类命名实体,在网络空间安全语料库内进行对比实验。结果表明,文中提出的BERT预训练语言模型生成字向量F值达到了0.884 2,比采用Word2vec模型提高了3.42%。该方法相较于Bi-LSTM+CRF模型,增强了词向量的泛化能力,提高了实体识别效果。
关键词

网络空间安全实体识别 BERT
基金项目(Foundation)

黑龙江省自然科学基金项目（F201436）；
文章目录

0 引言
1 任务定义
2 融合BERT的实体识别模型
2.1 BERT层
2.2 Bi-LSTM层
2.3 CRF层
3 实验
3.1 数据预处理
3.2 实验设置
3.3 实验结果与分析
4 结论
引用格式

廉龙颖,孔萨,郭京伟.融合BERT的网络空间安全实体识别方法[J].黑龙江科技大学学报,2021,31(03):394-398.
相关文章

[1]基于本体的网络空间安全知识图谱的构建方法
[2]网络空间安全领域实体识别的数据增强方法
[3]Bi-LSTM+CRF的网络空间安全领域命名实体的识别