清华大学深圳国际研究生院袁春团队在目标检测的知识蒸馏任务上取得新进展
2024/04/22
553知识蒸馏（knowledge distillation）是模型压缩的一种常用方法，通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息来训练这个小模型，以期达到更好的性能和精度。目标检测是计算机视觉中的一个重要任务，知识蒸馏可以在不增加其计算消耗的前提下提升其表现。
前背景的不平衡对于目标检测而言是一个重要的问题，这个问题同样影响着知识蒸馏。近日，清华大学深圳国际研究生院袁春团队对学生模型和教师模型二者的特征图进行了可视化，发现教师与学生在空间注意力方面在前景中的差异较大，在背景中的差异较小，这会给蒸馏中的学生模型带来不同的学习难度。接着，团队分离出前背景进行蒸馏实验，发现当全图特征混在一起蒸馏时，为学生模型带来的提升最小，而将前景与背景分开，赋予不同的权重时，学生模型能够获得更好的表现。
学生与教师网络空间与通道注意力
针对上述结论，团队首先提出了“重点蒸馏（Focal Distillation）”：分离前背景，赋予不同的权重，并利用教师的空间与通道注意力作为权重，共同指导学生模型进行学习，计算重点蒸馏损失。由于重点蒸馏将前景与背景分开进行蒸馏，切断了前背景的联系，为此，团队提出了“全局蒸馏（Global Distillation）”解决方案：利用全局语义信息模块（Global Context Block，GcBlock）分别提取学生与教师的全局信息，并计算全局蒸馏损失。结合二者，团队最终提出了“重点与全局知识蒸馏（Focal and Global Distillation，FGD）。
FGD整体结构
团队将FGD应用到了基于锚框（Anchor-based）与无锚框（Anchor-free）的单阶段与二阶段检测器。可以看到，通过知识蒸馏，各类学生检测器均获得了大幅的平均查准（AP）和平均召回（AR）提升。此外，团队也将FGD拓展到实例分割任务上，FGD同样可以为Mask R-CNN带来大幅的性能提升。
更强的教师蒸馏实验结果
团队也对FGD如何帮助学生模型学习进行了分析，对使用FGD蒸馏完成后的学生模型再次进行了注意力的可视化。研究结果表明，经过FGD蒸馏训练后的学生模型空间注意力和通道注意力的分布均与教师模型相似。这表明学生模型通过蒸馏学到了教师的知识，并获得更好的特征，由此实现性能提升。
蒸馏前后学生与教师注意力对比
FGD作为一种通用的针对目标检测任务的知识蒸馏方法，可以方便地应用到各种类型的检测器上，在不引入额外参数和计算的前提下提升模型表现。
上述研究成果以“目标检测的重点与全局知识蒸馏”（Focal and Global Knowledge Distillation for Detectors）为题，发表在2022年国际计算机视觉与模式识别大会（IEEE Conference on Computer Vision and Pattern Recognition，CVPR 2022）上。该论文第一作者为清华大学深圳国际研究生院2021级硕士生杨震东，通讯作者为清华大学深圳国际研究生院袁春教授，论文作者还包括清华大学深圳国际研究生院2021级硕士生江晓湖。该研究成果得到了国家自然科学基金委和深圳科技创新项目的支持。
鏂囩珷鏉ユ簮清华大学新闻锛屽垎浜彧涓哄鏈氦娴侊紝濡傛秹鍙婁镜鏉冮棶棰樿鑱旂郴鎴戜滑锛屾垜浠皢鍙婃椂淇敼鎴栧垹闄ゃ
-
2025骞11鏈堜紭璐ㄥ鏈細璁帹鑽 16
-
2025骞存満鍣ㄨ瑙夈佹櫤鑳芥垚鍍忎笌妯″紡璇 392
-
2025骞寸涓冨眾鎺у埗涓庢満鍣ㄤ汉鍥介檯浼氳 576
-
2025骞存櫤鑳藉厜瀛愬涓庡簲鐢ㄦ妧鏈浗闄呭 1529
-
2025骞存満姊板伐绋嬶紝鏂拌兘婧愪笌鐢垫皵鎶鏈 1790
-
2025骞磋绠楁満绉戝銆佸浘鍍忓垎鏋愪笌淇″彿 2065
-
2025骞存潗鏂欏寲瀛︿笌鐕冩枡鐢垫睜鎶鏈浗闄 1861
-
2025骞磋嚜鍔ㄥ寲鍓嶆部绯荤粺銆佹櫤鎱у煄甯備笌 10-23
-
2025骞翠俊鎭厜瀛︺侀仴鎰熸妧鏈笌鏈哄櫒瑙 10-23
-
2025骞存暟瀛椾汉鏂囥佹枃鍖栭仐浜т笌璇█瀛 10-23
-
2025骞寸缁忕瀛︺佺敓鐗╀俊鎭涓庢櫤鑳 10-23
-
2025骞磋瑷璁ょ煡銆佷汉宸ユ櫤鑳戒笌璁＄畻寤 10-23
-
2025骞寸ぞ浼氱瀛︺佸簲鐢ㄨ瑷瀛︿笌浜烘枃 10-23
-
2025骞翠紶缁熸満姊般佸姩鍔涘涓庢櫤鑳借澶 10-23
-
2025骞村浘鍍忓鐞嗐佺墿鐞嗗缓妯′笌缁撴瀯璁 10-23
2025骞寸鍥涘眾閫氫俊锛屼俊鎭郴缁熶笌鏁版嵁绉戝鍥介檯.
2025骞存暟鎹瀛︿笌鏅鸿兘绯荤粺鍥介檯浼氳(DSI.
绗洓灞婃暟鐞嗙粺璁′笌缁忔祹鍒嗘瀽鍥介檯瀛︽湳浼氳 (MS.
绗笁灞婁俊鎭寲鏁欒偛涓庝汉宸ユ櫤鑳藉浗闄呭鏈細璁紙IC.
绗簲灞婃娴嬫妧鏈笌鏅鸿兘绯荤粺鍥介檯瀛︽湳浼氳锛圖TI.
2025 骞寸浜屽眾浜氭床鏅鸿兘鐢电綉锛岀豢鑹茶兘婧愪笌搴.
绗簲灞婄幆澧冩薄鏌撲笌娌荤悊鍥介檯瀛︽湳浼氳 (ICEP.
2025骞寸鍥涘眾鍏堣繘鐨勭數鍔涚郴缁熷拰鑳芥簮宸ョ▼鍥介檯.
2025骞寸浜屽眾IEEE浜氭床鍏堣繘鐢垫皵涓庣數鍔涘伐.
绗竷灞婃按鍒╀笌鍦熸湪寤虹瓚宸ョ▼鍥介檯瀛︽湳浼氳锛圚CC.
绗簲灞婄數瀛愰氫俊涓庤绠楁満绉戝鎶鏈浗闄呭鏈細璁紙.
绗簩灞婇仴鎰熸妧鏈笌鍥惧儚澶勭悊鍥介檯瀛︽湳浼氳锛圧ST.
2026宓屽叆寮忕郴缁熴佺Щ鍔ㄩ氫俊涓庤绠楀浗闄呬細璁紙.
绗簲灞婄數瀛愪俊鎭伐绋嬩笌鏁版嵁澶勭悊鍥介檯瀛︽湳浼氳锛圗.
绗竷灞婃柊鏉愭枡涓庢竻娲佽兘婧愬浗闄呭鏈細璁紙ICAM.
-
2025骞翠袱闄㈤櫌澹閫夋湁鏁堝欓変汉1145
-
2025鏈鏂癑CR鍒嗗尯鍙婂奖鍝嶅洜瀛4758
-
濂藉鏈:绉戠爺缃戝潃瀵艰埅|瀛︽湳澶存潯鍒2033
-
2025骞村浗闄呮湡鍒婇璀﹀悕鍗曞彂甯!1930
-
2025骞翠腑绉戦櫌鏈熷垔鍒嗗尯琛ㄩ噸纾呭彂8447
-
涓浗绉戝崗銆婇噸瑕佸鏈細璁洰褰曪紙205134
-
鍚夋灄澶у鏍￠暱寮犲笇锛氬鏈細璁腑鐨勬彁2840
-
娓呭崕澶у鍦板绯婚槼鍧よ棰樼粍鎻ず鍏ㄧ悆10-20
-
鍘嗗彶鏃舵湡鏋佺骞叉棻鐏惧鐨勬暟鎹瘎浼板拰10-20
-
鈥滄竻鍗庡寲瀛︾櫨骞磋鍧涳細濉戦犲寲瀛︾殑鏈10-20
-
鐮旂┒鎻ず妞嶇墿婵绱犵嫭鑴氶噾鍐呴叝浣滀负璺10-20
-
娓呭崕澶у鑱斿悎鐮斿彂鐨勨46MW澶у10-20
-
娓呭崕澶у锛堣蒋浠跺闄級-涔濈枂鐢靛姏寤10-20
-
涓浗鍐滀笟澶у鍦熷湴瀛﹂櫌椹煫闊暀鎺堝洟10-20
-
鐢靛瓙绉戞妧澶у鍏夌數瀛﹂櫌鏈鐢熷湪涓鍖10-20
-
重庆天宇物流有限公司 18072
-
同济大学MBA中心 21187
-
IETP 1970
-
北京沃特咨询有限公司 21031
-
888888 18155
-
中国国际贸易促进委员会建筑材料行 22985
-
江南大学食品学院 24174
-
西北大学信息科学与技术学院 18090
-
华中农业大学 2092
-
上海交通大学 21071
-
北京艾尚国际展览有限公司 8256
-
纳通医疗集团 18202
-
武汉市cbb会议主办 18209
-
北京市西城区 1989
-
深圳玲涛电子厂 23971
-
IAASE 21341
-
中南财经政法大学 2050
-
航空工程学院 22978
-
武汉ceee主办方 18047
-
中国岩石力学与工程学会 20965
