• 论文
主办单位:煤炭科学研究总院有限公司、中国煤炭学会学术期刊工作委员会
基于双流特征增强网络的视频行为识别
  • 90
  • 作者

    赵晨冯秀芳董云云温昕曹若琛

  • 单位

    太原理工大学软件学院

  • 摘要
    【目的】双流卷积网络主要通过融合视频的空间流特征和时间流特征以达到较高的识别精度,传统双流卷积使用光流或者时间位移模块来提取时间特征,使用光流的缺点在于光流抽取工作量繁重,而使用时间位移模块的缺点在于会破坏原本视频帧的空间特征和通道特征。【方法】提出一种双流特征增强网络Two-stream Feature Enhancement Network(TFEN)解决上述问题,针对时间位移导致的特征破坏问题,提出了空间增强时间位移模块Spatial Enhancement- Temporal Shift Module(SE-TSM)和通道增强时间位移模块Channel Enhancement - Temporal Shift Module(CE-TSM),在每次时间位移后进行特征增强以改善特征受损。针对光流问题提出了融合基于帧差的时间流网络,相较于光流,使用帧差耗时短易操作。针对帧差运动信息微弱问题,提出了运动增强模块Sports Improvement Module(SIM)增强运动特征以提高性能。【结果】本文网络在公开视频数据集UCF101和HMDB51上分别达到了96.1% 和75.7% 的精度,优于目前主流网络。
  • 关键词

    行为识别双流网络时间位移光流帧差

  • 文章目录
    1?相关方法
    1.1?TSN
    1.2?TSM
    1.3?SE-BLOCK
    2?本文模型
    2.1?整体架构
    2.2?SE-TSM
    2.3?CE-TSM
    3?实验
    3.1?数据集
    3.2?实验环境
    3.3?实验指标
    3.4?消融实验
    3.5?对比实验
    4?结束语
相关问题

主办单位:煤炭科学研究总院有限公司 中国煤炭学会学术期刊工作委员会

©版权所有2015 煤炭科学研究总院有限公司 地址:北京市朝阳区和平里青年沟东路煤炭大厦 邮编:100013
京ICP备05086979号-16  技术支持:云智互联