2021级博士研究生陈东同学的论文近日被CCF-A类会议AAAI接收。
AAAI的英文全称是The Association for the Advancement of Artificial Intelligence，即人工智能促进协会，该协会主办的年会 (The AAAI Conference on Artificial Intelligence) 是重要的国际人工智能学术会议之一，致力于推动智能思维与行为机制的科学理解及机器实现，并促进人工智能的科学研究和规范应用，属于CCF-A类会议。第38届AAAI会议（AAAI-24）将于2024年2月20日至27日在加拿大温哥华举行。
论文题目：EPSD: Early Pruning with Self-Distillation for Efficient Model Compression
第一作者：陈东
指导教师：马锐，常毅
收录会议：AAAI’2024
会议类别：CCF-A类
论文概述：
随着神经网络规模的不断发展，神经网络压缩技术，如知识蒸馏（KD）和网络剪枝，受到越来越多的关注。最近的研究表明，剪枝后的教师网络可以进一步提升KD性能。然而，传统KD需要繁琐的教师预训练以及其他复杂步骤，这使得在将KD与剪枝结合时并不高效。我们注意到：（1）早期剪枝与传统剪枝方法相比需要更少的计算成本；（2）一种特殊的知识蒸馏，即自蒸馏（SD），由于无须预训练及挑选合适的Teacher-Student Pair更加高效。这激发了我们将早期剪枝与SD结合以实现高效的模型压缩。基于此，论文提出了一种基于早期剪枝和SD的高效模型压缩框架EPSD，通过在剪枝阶段保留可蒸馏权重，EPSD解决了早期剪枝与自蒸馏结合时的退化问题，并在多种不同基准上超越了其他先进的压缩算法。此外，我们通过定性实验和定量实验揭示了可蒸馏权重存在的可能，同时表明所提出方法提升了剪枝模型的可训练性。
