注意力机器翻译：联合学习对齐与翻译

Neural Machine Translation by Jointly Learning to Align and Translate · Bahdanau、Cho、Bengio · arXiv 2014

本页目录

论文名片

题目：Neural Machine Translation by Jointly Learning to Align and Translate（注意力机器翻译：联合学习对齐与翻译）。

作者与年份：Dzmitry Bahdanau、Kyunghyun Cho、Yoshua Bengio，2014 年。

地位：注意力（attention）机制的诞生地，Transformer 的直接前身。

一句话内容：译文每写到一处，就回头给原句每个词打「相关度分」，按分数加权取用原句信息；打分还天然给出对齐（alignment）——哪个原句词对应哪个译文词。

翻译是序列任务的皇冠：既要读懂原文，又要写出通顺的译文。2014 年前后，神经翻译的主力是编码器-解码器结构，它有个致命软肋——句子一长就露馅。这篇论文正面解决了软肋，也顺手改写了之后十年的模型设计。

对这份书单，它是承重墙：上一篇还在琢磨记忆结构，这一篇提出「与其全靠记忆，不如随时回看」；下一篇 Attention Is All You Need 把这个思想推向极致。要看懂 Transformer，先要看懂这里的注意力。

想象两种译者。差一些的译者拿到长文，先匆匆通读一遍、写个摘要，然后只凭摘要硬译——句子越长，丢的细节越多，译到后面张冠李戴。好译者则边写边回看原文：写到哪一句，就在原文对应位置划线，需要哪个词就看哪个词。

生活里同理：你给别人转述一段话，凭的是要点；可一旦对方追问细节，你会自然翻回原文核对。「回看」不是偷懒，而是人处理长信息的本能——这篇论文给机器装上的，正是这个本能。

老办法的瓶颈。编码器-解码器（encoder-decoder）先把整句原文压缩成一个固定长度的「记忆胶囊」，再从胶囊里生成译文。胶囊容量是死的，句子却长短不一——长句必丢信息。这就是瓶颈（bottleneck）：把一整页信塞进一张便签，再照便签复述，细节焉能不丢？

注意力的做法。写译文每走到一个位置，就回头给原句每个词打一个「相关度分」，再按分数加权取用原句各部分的信息：分数高的词此刻话语权大，分数低的词也不是完全不看，只是声音小。

惊人的副产品：对齐。「哪个英文词对应哪个法文词」原本是翻译里需要额外标注的信息；如今打分天然给出——把分数画成热力图，能看到一条条清晰的对应带，可视化非常直观。论文标题里的「联合学习对齐与翻译」就是这个意思：对齐不是额外任务，而是翻译过程自己长出来的。

一句话总结转变：从「压缩成一句」到「随时回看原文」。记忆胶囊没有消失，但从唯一的信息来源降级成备忘录，原文始终摊在桌上。

关键洞察：注意力 = 边写边回看 + 按相关度分配精力——机器第一次学会了「划重点」。

本节为教学演示算术，非论文数字。

设当前要译的词需要参考原句三个词，相关度分分别为 60%、30%、10%（合计 100%）；三个词各自携带的要点强度设为 8、5、2。取用的混合信息就是：0.6×8 + 0.3×5 + 0.1×2 = 4.8 + 1.5 + 0.2 = 6.5。分数高的词贡献大，但没有谁被完全忽略。

原句 10 个词，每写一个译文词要打 10 个分；原句 20 个词，就打 20 个分。打分量随句长等比例增长，换来的是不再有「胶囊容量上限」：句子再长，也只是多打几个分，而不是把更多信息硬塞进同一个口袋。

最直接的影响：Attention Is All You Need 把「回看打分」从循环网络的配件升级为整栋建筑——Transformer。今天所有大语言模型里的注意力，血脉都追到这里。

思想谱系上：它与关系循环网络同属一个思想家族——把多份信息放在一起比较、打分、汇总；与 RNN 的惊人有效性合起来看，则凑齐了 GPT 路线的两块基石：「预测下一字符」的目标，加上「随时回看」的机制。

对翻译本身：对齐可视化让神经翻译第一次变得「可解释」——人们能亲眼看到机器在译某个词时正盯着原文哪个词。