三个阶段

一、基于规则的机器翻译(RBMT)

1950–1980 年代的主流。依靠语言学家手工编写的语法规则和双语词典。

问题:自然语言的例外太多,规则难以穷尽。维护成本高,扩展到新语言几乎要重来一遍。

二、统计机器翻译(SMT)

1990–2010 年代的主流。核心是数据驱动:

  • 从大量平行语料(原文与译文的对照文本)中统计词与词的对应关系;
  • 再统计短语的翻译概率、语序调整概率;
  • 解码时搜索概率最高的译文。

著名的开源工具 Moses 就是这一代的代表。

优势:不再需要手工规则,有语料就能训练。

局限:系统由多个子模型(翻译模型、语言模型、调序模型)拼装而成,各部分独立优化,难以全局最优;翻译质量在长句和复杂结构上明显下降。

三、神经机器翻译(NMT)

2014 年后兴起,基于编码器—解码器架构:

  • 编码器:把源语言句子压缩成一个向量(或向量序列);
  • 解码器:基于这个表示,逐词生成目标语言译文。

注意力机制的引入是关键突破:解码器在生成每个词时,可以"回看"源句的不同部分,而不是依赖一个固定长度的向量。这解决了长句的"信息瓶颈"问题。

随后 Transformer 架构进一步提升了效果和训练效率,成为当前主流。

质量评估

BLEU:最经典的自动评估指标,比较机器译文与人工参考译文的 n-gram 重合度。

优点是可自动化、可快速比较;缺点是与人类主观判断的相关性有限——它看重词汇匹配,对同义表达、语序变化不敏感。

因此,重要的质量判断仍需人工评测(流畅度、忠实度等维度)。

现在的水平与局限

神经翻译在常见语言对、通用领域上已经相当流畅。但仍有明显短板:

一、歧义消解。 "他打了电话"和"他打了人"中的"打",在不同上下文中对应不同的翻译。缺乏足够上下文时容易出错。

二、领域适应性。 法律、医学、文学等领域,通用翻译模型表现不稳定。

三、篇章级一致性。 传统 NMT 以句为单位翻译,缺乏篇章级的一致性——比如同一术语在前后句被译成了不同译法,或者代词指代在翻译后变得混乱。

四、文化特有内容。 成语、俚语、幽默、双关,是机器翻译的老大难。

五、低资源语言。 平行语料稀缺的语言对,质量差距明显。

大语言模型的加入

近年,通用大语言模型在翻译上也表现出色,尤其是在语境理解方面——它可以看到更长的上下文,处理篇章级的一致性问题,并且能根据指令调整风格(如"翻译得更正式一些")。

这在一定程度上弥补了传统 NMT 的短板。

说明:本文为机器翻译技术的公开知识整理。