澳门人威尼斯官方田原副教授指导的2022级博士研究生赵盈提出了增强句子之间注意力的新型多头注意力机制，通过增强句子之间的注意力提升相关词之间的联系，更加准确有效的完成文本相似度检测任务。该成果以 “Enhancing inter-sentence attention for Semantic Textual Similarity” 为题发表于中科院一区top期刊《Information Processing & Management》上，论文链接Enhancing inter-sentence attention for Semantic Textual Similarity - ScienceDirect。
赵盈本科就读于华中师范大学，2020年考研至澳门人威尼斯官方跟随田原副教授攻读硕士学位，2022年通过硕博连读考核继续跟随田原副教授攻读博士学位，目前从事自然语言处理和大模型等方向的工作。
论文题目：Enhancing inter-sentence attention for Semantic Textual Similarity
论文作者：赵盈
指导教师：田原
收录期刊：Information Processing & Management （IF=8.6）
期刊类别：中科院一区，CCF-B
论文简介：
在基于 Transformer 的大规模预训练语言模型进行文本相似度检测任务时，模型应该关注句子之间的语义关系信息，例如同义词、近义词、反义词等关系。一般来说，句子之间关系相近的词越多，句子之间的语义关系越相近。多头注意力中注意力权重应该已经学习到部分句子之间的关系信息，但是大部分的研究只聚焦于句内注意力，因此我们提出了增强句子之间注意力的新型多头注意力机制，通过增强句子之间的注意力提升相关词之间的联系。我们的结果表明，新型多头注意力机制优于其他最先进的模型，并且能够与其他增强方法相融合。最后我们进行了注意力功能分析和 case study 证明了该方法的有效性。
