ICLR，全称为International Conference on Learning Representations，又称国际表征学习大会，该会议每年举办一次。ICLR是机器学习领域全球最高级别的学术会议之一，关注有关深度学习各个方面的前沿研究。ICLR'2024将于2024年5月7日-11日在奥地利维也纳举行。在本次会议中，澳门人威尼斯官方师生共有7篇文章被接收。
论文题目：Efficient Sharpness-Aware Minimization for Molecular Graph Transformer Models
主要作者：王一立博士，王鑫副教授
收录会议：ICLR'2024
会议类别：清华大学推荐A类
论文概述：
锐度感知最小化（SAM）能有效消除训练轨迹中的锐利局部最小值，减轻泛化退化，因此在计算机视觉领域受到越来越多的关注。然而，SAM 需要在每一步优化过程中进行两次连续梯度计算：一次是获取扰动梯度，另一次是获取更新梯度。与基础优化器（如 Adam）相比，SAM 因额外的扰动梯度而增加了一倍的时间开销。
通过对 SAM 理论的剖析和对分子图变换器训练梯度的观察，我们提出了一种名为 GraphSAM 的新算法，它降低了 SAM 的训练成本，提高了图变换器模型的泛化性能。有两个关键因素促成了这一结果：（i）梯度近似：我们使用前一步的更新梯度来平滑地近似中间步骤的扰动梯度（提高效率）；（ii）损失景观近似：我们从理论上证明了 GraphSAM 的损失景观被限制在以 SAM 的预期损失为中心的一个小范围内（保证泛化性能）。在六个不同任务的数据集上进行的大量实验证明了 GraphSAM 的优越性，尤其是在优化模型更新过程方面。
