• 论文
主办单位:煤炭科学研究总院有限公司、中国煤炭学会学术期刊工作委员会

深度学习中知识蒸馏研究综述

2022-09-16

作者:邵仁荣,刘宇昂,张伟,王骏

作者单位:华东师范大学计算机科学与技术学院


在人工智能迅速发展的今天,深度神经网络广泛应用于各个研究领域并取得了巨大的成功,但也同样面临着诸多挑战.


首先,为了解决复杂的问题和提高模型的训练效果,模型的网络结构逐渐被设计得深而复杂,难以 适应移动计算发展对低资源、低功耗的需求.知识蒸馏最初作为一种从大型教师模型向浅层学生模型迁移知识、提 升性能的学习范式被用于模型压缩.然而随着知识蒸馏的发展,其教师学生的架构作为一种特殊的迁移学习方式,演化出了丰富多样的变体和架构,并被逐渐扩展到各种深度学习任务和场景中,包括计算机视觉、自然语言处理、推荐系统等等.


另外,通过神经网络模型之间迁移知识的学习方式,可以联结跨模态或跨域的学习任务,避免知识遗忘;还能实现模型和数据的分离,达到保护隐私数据的目的.知识蒸馏在人工智能各个领域发挥着越来越重要 的作用,是解决很多实际问题的一种通用手段.


本文将近些年来知识蒸馏的主要研究成果进行梳理并加以总结,分析该领域所面临的挑战,详细阐述知识蒸馏的学习框架,从多种分类角度对知识蒸馏的相关工作进行对比和分析, 介绍了主要的应用场景,在最后对未来的发展趋势提出了见解。


论文链接
  责任编辑:宫在芹
今日专家

教授,博士,博士生导师。男,1961年6月生,1982年7月毕业于山东科技大学...

亮点论文

西南地区是打赢精准脱贫攻坚战、实施生态保护战略的重点区域,区域内水能、天然气资源极为丰富,也是支撑“西电东送”“西气东输”的重要区域;鉴于能源资源禀赋特征差...

今日企业
  • 神州机械注册资金1亿元,形成了以干法选煤新工艺、新装备研发、选...

主办单位:煤炭科学研究总院有限公司 中国煤炭学会学术期刊工作委员会

©版权所有2015 煤炭科学研究总院有限公司 地址:北京市朝阳区和平里青年沟东路煤炭大厦 邮编:100013
京ICP备05086979号-16  技术支持:云智互联