三个阶段
一、基于规则的机器翻译(RBMT)
1950–1980 年代的主流。依靠语言学家手工编写的语法规则和双语词典。
问题:自然语言的例外太多,规则难以穷尽。维护成本高,扩展到新语言几乎要重来一遍。
二、统计机器翻译(SMT)
1990–2010 年代的主流。核心是数据驱动:
- 从大量平行语料(原文与译文的对照文本)中统计词与词的对应关系;
- 再统计短语的翻译概率、语序调整概率;
- 解码时搜索概率最高的译文。
著名的开源工具 Moses 就是这一代的代表。
优势:不再需要手工规则,有语料就能训练。
局限:系统由多个子模型(翻译模型、语言模型、调序模型)拼装而成,各部分独立优化,难以全局最优;翻译质量在长句和复杂结构上明显下降。
三、神经机器翻译(NMT)
2014 年后兴起,基于编码器—解码器架构:
- 编码器:把源语言句子压缩成一个向量(或向量序列);
- 解码器:基于这个表示,逐词生成目标语言译文。
注意力机制的引入是关键突破:解码器在生成每个词时,可以"回看"源句的不同部分,而不是依赖一个固定长度的向量。这解决了长句的"信息瓶颈"问题。
随后 Transformer 架构进一步提升了效果和训练效率,成为当前主流。
质量评估
BLEU:最经典的自动评估指标,比较机器译文与人工参考译文的 n-gram 重合度。
优点是可自动化、可快速比较;缺点是与人类主观判断的相关性有限——它看重词汇匹配,对同义表达、语序变化不敏感。
因此,重要的质量判断仍需人工评测(流畅度、忠实度等维度)。
现在的水平与局限
神经翻译在常见语言对、通用领域上已经相当流畅。但仍有明显短板:
一、歧义消解。 "他打了电话"和"他打了人"中的"打",在不同上下文中对应不同的翻译。缺乏足够上下文时容易出错。
二、领域适应性。 法律、医学、文学等领域,通用翻译模型表现不稳定。
三、篇章级一致性。 传统 NMT 以句为单位翻译,缺乏篇章级的一致性——比如同一术语在前后句被译成了不同译法,或者代词指代在翻译后变得混乱。
四、文化特有内容。 成语、俚语、幽默、双关,是机器翻译的老大难。
五、低资源语言。 平行语料稀缺的语言对,质量差距明显。
大语言模型的加入
近年,通用大语言模型在翻译上也表现出色,尤其是在语境理解方面——它可以看到更长的上下文,处理篇章级的一致性问题,并且能根据指令调整风格(如"翻译得更正式一些")。
这在一定程度上弥补了传统 NMT 的短板。
说明:本文为机器翻译技术的公开知识整理。