雷峰网：EMNLP 2023 最佳论文放榜！北京大学联合微信AI团队获国内首篇EMNLP最佳长论文

全球自然语言处理领域的顶级会议EMNLP2023于12月6日-12月10日在新加坡召开，会议共接收4909篇投稿，主会录用论文1047篇，录用率21.3%。EMNLP的全称是Conference on Empirical Methods in Natural Language Processing，由国际计算语言学会ACL组织每年举办一次，为自然语言处理领域最具影响力的国际会议之一。本次会议，微信AI团队有8篇文章被选中。其中，由北京大学和微信AI团队合作的文章获得EMNLP录取文章中最佳长论文奖（Best Long Paper Award），这也是EMNLP会议上国内首篇获此殊荣的论文。

图1. 获奖论文

图2. 获奖证书

微信AI团队榜上有名，参与研究文章获主会最佳长文

此次获奖的论文题为“Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning”，研究了 In-context learning（ICL）的工作机制。首次发现了上下文学习中演示示例的标签词起着 “锚点” 作用：1）在浅层计算层的处理过程中，语义信息聚集到标签词表示中；2）在深层计算层的处理过程中，标签词中的聚合的信息为语言模型的最终预测提供参考。基于这些发现，文章进一步提出了 “锚点重新加权” 方法来提高 ICL 的性能，以及用于诊断 ICL 错误的分析框架。这项工作也为未来的相关研究指引了新的方向。

图3. 上下文中演示示例的标签词作为“锚点”的示意图

论文作者来自北京大学孙栩教授团队和微信AI团队，其中论文的第一作者王乐安是在微信AI团队实习的北大研究生（本科为北京大学智能科学与技术系2019级全系第一名），这也是他中稿的第一篇自然语言处理领域主会论文。在论文的研究过程中，北京大学孙栩教授团队和微信AI团队紧密合作，在研究方向、核心问题、实验改进、以及论文修改等方面进行了充分的讨论和深入的工作，其中王乐安扎实的数理基础和专业知识，孙栩教授清晰准确的指导和建议令人印象深刻。

深耕前沿技术，微信AI团队多项研究可圈可点

微信AI团队在EMNLP2023的表现充分展示了其在AI领域的专业实力。微信AI团队保持着小而精的团队规模，团队成员几乎全部来自国内外顶尖高校的硕士或博士，一直保持着人才引入的高标准。除了本次 EMNLP2023 Best Paper (Long) Award，近年来团队成员参与的研究工作已经获得了多个重要奖项，包括RecSys2023 Best Paper (Short) Award, ACL2019 Best Paper (Long) Award等。

微信AI团队在多个领域的研究都取得了显著的成果。在全球学术界最具权威的机器翻译比赛（Workshop on Machine Translation，简称WMT）2020 ～ 2022连续三年里获得多个赛道冠军，比赛参与者包括众多来自全球的企业、科研机构和高校所组成的顶尖团队。在2018和2019年的对话系统技术挑战赛（Dialog System Technology Challenge，简称DSTC）中也蝉联多个赛道冠军。

微信AI团队一直致力于业务与学术研究的结合，在业务中挖掘科研课题。他们认为，业务与研究是相互促进的关系：“通过研究来发现更好的方法，最终结果也可以直接应用在业务中。”本次会议中的多项工作已经进一步推动了对话系统、微信翻译、微信读书、微信输入法等多个业务场景的应用。

附：微信AI团队入选的8篇文章

1. Label Words are Anchors: An Information Flow Perspective for Understanding In-Context Learning

Lean Wang, Lei Li, Damai Dai, Deli Chen, Hao Zhou, Fandong Meng, Jie Zhou and Xu Sun.

2. HyperNetwork-based Decoupling to Improve Model Generalization for Few-Shot Relation Extraction

Liang Zhang, Chulun Zhou, Fandong Meng, Jinsong Su, Yidong Chen and Jie Zhou

3. Re3Dial: Retrieve, ReorGANize and Rescale Conversations for Long-Turn Open-Domain Dialogue Pre-training

Jiaxin Wen, Hao Zhou, Jian Guan, Jie Zhou, Minlie Huang

4. Multi-Source Probing for Open-Domain Conversational Understanding

Yuanxi Li, Hao Zhou, Jie Zhou, Minlie Huang

5. Explicit Planning Helps Language Models in Logical Reasoning

Hongyu Zhao, Kangrui Wang, Mo Yu, Hongyuan Mei