本书是作者所在的课题组近年来在汉英机器翻译研究方面所取得进展的一个阶段性总结。内容涉及汉英机器翻译的各个主要方面及关键技术，包括对目前国际上机器翻译研究进展的综述，汉语词法分析技术、汉语句法分析技术、汉语词汇语义相似度计算、汉英双语语料库的词语对齐、语料库的结构对齐、基于结构对齐语料库的翻译模板抽取、多引擎机器翻译方法等多方面的研究成果。

    本书可供从事计算语言学、自然语言处理、中文信息处理、机器翻译等领域研究工作的人士参考，也可以作为大学相关专业高年级本科生和研究生课程的参考书。

    自从1949年Warren Weaver发表《翻译》备忘录，正式提出机器翻译的思想以来，到现在已经经过了半个多世纪。虽然机器翻译的现状离人们的期望和市场的需求都还有相当大的距离，远远不能满足人们的要求，不过人们对机器翻译研究的热情依然很高。这一方面是因为机器翻译的巨大需求和应用前景在不断激励着人们从事这方面的研究工作；另一方面，仅从学术角度看，机器翻译也是一个非常有意义的研究课题，其复杂性、挑战性和高难度的特点对研究者而言充满了魅力。机器翻译的研究，大大加深了人们对于语言、知识、智能等问题的了解，促进了相关学科的发展。作者认为，对全自动高质量机器翻译的不懈追求，正是计算语言学研究的终极目标之一和不竭动力的源泉。

    最早的机器翻译是建立在简单的单词对译、词频统计和词序变化的基础上。当人们认识到这种方法的局限性后，开始加强了对自然语言理解的研究。伴随着人工智能研究的发展和乔姆斯基语言学的大行其道，规则方法成为了机器翻译研究的主流。研究者发现，在一些小规模应用或演示环境中表现出色的规则方法，在真正的大规模应用中却表现得非常糟糕。于是，从1990年初开始，统计方法又被重新引入到自然语言处理研究中，在机器翻译方面，IBM公司提出了著名的基于信源信道模型的统计机器翻译方法。在这以后的一段时间内，尽管统计方法在自然语言处理的很多领域都获得了成果，但对于机器翻译来说，统计方法并没有马上建立起优势地位。由于机器翻译问题本身的复杂性和计算机运行能力的限制，在很长一段时间内，很少有人能够重复IBM的统计机器翻译工作，以至于很多人对统计方法在机器翻译中的效果产生了怀疑。不过近年来，在一批研究者的不断努力下，也得益于计算能力的普遍提高，统计机器翻译终于开始表现出明显的优势并受到了普遍的重视。在最近的一些机器翻译评测中，基于统计方法的机器翻译系统取得了很好的成绩。

    统计机器翻译方法近年来发展迅猛。从早期的基于词的信源信道模型的方法，到目前比较成熟的基于短语的对数线性模型的方法，再到目前热门的基于句法的统计翻译模型研究，统计机器翻译也经历了一个转换层次由浅入深的过程。机器翻译的水平比传统的基于规则的方法有了较大幅度的提高。

    不过，总体上，目前机器翻译的水平依然不高。机器翻译还没有达到让一般人基本可读的水平，尤其是汉英机器翻译。

    汉语是我们的母语，是数千年中华文化的主要载体，同时又是一种非常独特的语言。目前，汉字的输入、输出等方面的问题已基本解决，而汉语更深层次的处理，如词法、句法、语义分析、机器翻译等，和世界上其他一些主要语种的处理技术相比，还有一定的差距。这可能有语言学上的原因。通常人们认为，汉语是孤立语，由于缺乏形态上的标记，汉语的自动分析和处理会比其他语言更加困难。目前，自然语言处理研究的实践也证明了这一点。在句法分析方面，同样是以美国宾州大学开发的树库作为训练语料，同样采用词汇化概率上下文无关语法训练出来的汉语句法分析器和英语句法分析器，汉语句法分析器的标记正确率和召回率比英语大约低10个百分点。在美国国家标准技术局（NIST）举办的2005年机器翻译评测中，在所提供的训练语料类型和规模都大致相当的情况下，最好的阿拉伯语到英语的机器翻译系统的BLEU一种机器翻译质量的自动评分指标。评分是0.5131，而最好的汉语到英语的机器翻译系统的BLEU评分只有0.3531。这些事实表明，关于汉语的自然语言处理研究，困难确实比其他语言要更大一些。应该说，加强这方面的研究工作对中国的自然语言处理研究者来说是责无旁贷的。

    本书共有以下10章，主要围绕汉英机器翻译中的一些关键技术展开讨论。

    汉英机器翻译若干关键技术研究第1章是综述，介绍了机器翻译最近一段时间的研究进展，以及我们对机器翻译的一些认识。机器翻译技术方法各异，种类繁多，非常复杂。我们主要从范式和分类这两个方面对现有的机器翻译技术作了介绍。范式方面，主要介绍了传统的基于规则的转换方法以外的几种范式，包括基于平行语法的机器翻译方法、基于实例的机器翻译方法、基于信源信道模型的统计机器翻译方法、基于对数线性模型的机器翻译方法、多引擎机器翻译方法等。分类方面，主要从机器翻译的转换层面和机器翻译的知识表示形式这两个角度对现有的机器翻译方法进行了分类。

    第2章提出了一种基于层叠的隐马尔可夫模型汉语词法分析算法。这个算法由多个层叠的隐马尔可夫模型构成，粗切分采用基于N最短路径的算法，简单未定义词和复合未定义词采用基于角色的隐马尔可夫模型识别新词，并采用基于角色的词语生成模型估计未定义词的概率；细切分采用词汇化的隐马尔可夫模型；词性标注采用基于词性的隐马尔可夫模型；多种模型紧密结合，下层模型不仅提供多个最好的分析结果供高层模型使用，而且也给出了这些结果的概率。模型之间环环相扣，互为补充，最终达到整体结果的最优化，同时保持算法的高效率（线性时间复杂度）. 

    第3章介绍了一种融合语义知识和词汇化上下文概率语法的汉语句法分析方法。现在主流的句法分析研究都是基于词汇化概率上下文无关语法来进行的，这种研究主要的知识来源都是事先由人工制作的树库（treebank) 。由于树库的制作需要耗费大量人力，因此，树库的规模都不可能太大，因而存在比较严重的数据稀疏问题。我们通过引入两部同义词词典（“同义词词林”和“知网”) ，在一定程度上缓解了数据稀疏问题，提高了汉语句法分析的准确率和召回率。

    第4章介绍了一种汉语句法分析和词法分析的融合策略。由于句法分析器训练时所采用的树库规模较小，存在比较严重的数据稀疏问题，而词法分析器则可以采用一些公开的大规模汉语切词和词性标注语料库。但由于切词和词性标注的标准不一致，用这种大规模语料库训练出来的词法分析器还不能直接用在句法分析器中。为此我们分别采用错误驱动的方法和条件随机场算法，将词法分析器分析得到的结果通过切词和词性标注两方面的转换，适应了树库的切词和词性标注标准，成功地将不同标准的词法分析器和句法分析器进行了融合，显著提高了句法分析的性能。

    第5章提出了一种基于“知网”的词汇语义相似度计算模型。这种方法充分利用了“知网”中所包含的丰富的人类语言学知识，直接计算两个词语的语义相似度，而无需通过大规模语料库的训练，方法简单有效。这种方法可广泛用于词义排歧、基于实例的机器翻译等多个领域。

    第6章提出了一种对数线性模型的词语对齐方法。这一方法首次将判别训练的思想引入词语对齐研究中，使得我们可以利用各种形式的特征来改进词语对齐的性能，大大拓宽了词语对齐研究的思路，也显著降低了词语对齐的平均错误率。

    第7章提出了一种高效的双语短语对齐搜索算法。这种算法的主要优点是可以尽可能避免词语对齐错误给短语对齐带来的干扰，使得短语对齐的正确率和召回率比词语对齐的相应指标都要高出很多，效果很好。算法采用柱形搜索策略，时间消耗随着句子长度线性增长，效率也非常高。

    第8章定义了一种可以刻画两种语言深层句法结构对应关系的短语结构转换模板，并给出了从双语短语对齐的语料库中抽取这种模板的算法。对实验结果的初步分析表明，从一个八千句子对的短语对齐语料库中抽取出来的模板，已经可以覆盖各种常见的汉英句法结构的转换模式。

    第9章提出了一种微引擎流水线机器翻译系统结构。在这种结构下，整个机器翻译过程被分解成若干个串行的阶段，每个阶段可以有若干个功能相似的部件（微引擎）同时工作。通过添加和删除微引擎以及调整流水线的结构很容易实现各种机器翻译构件的协调工作，而无需修改系统的总体翻译算法和数据结构，有利于提高机器翻译系统的开发效率以及尝试新的机器翻译方法。其中介绍了一个基于这种结构实现的面向新闻领域的汉英机器翻译系统，并给出了实验结果。

    第10章对本书进行了全面总结，介绍了下一步的工作计划。  

    本书涵盖的研究工作反映了作者所在研究团队在汉英机器翻译研究方面进行的一系列努力，本书也是对我们现有研究工作的一个阶段性总结。我们的这些工作受到国家重点基础研究项目( "973”计划)子课题“面向大规模真实文本的汉语计算理论、方法和工具”(课题编号G1998030507-4)、国家自然科学基金重点项目“融合语言知识与统计模型的机器翻译方法研究”(项目批准号60736014)和中国高技术研究发展计划( "863”计划)重点项目课题“面向跨语言搜索的机器翻译关键技术研究”(课题编号2006AA010108)资助，特此表示感谢！

    机器翻译研究涉及的领域非常广，技术门类也非常多。本书每一章都是对汉英机器翻译中某一项具体关键技术的研究。虽然在本书中我们还没有将这些技术集成到一个完整的机器翻译系统中去，不过所有这些技术对于构造一个完整的机器翻译系统都是非常重要的。我们希望本书对真正希望从事汉英机器翻译研究的人士有所帮助，对相关领域的研究人员和学生也能够具有参考价值。

第1章 机器翻译方法综述1

1.1 机器翻译的范式2

1.2 基于平行语法的机器翻译方法2

1.2.1 Alshawi的基于加权中心词转录机的统计机器翻译方法2

1.2.2 吴德凯的反向转录语法3

1.2.3 Takeda的基于模式的机器翻译上下文无关语法4

1.3 基于实例的机器翻译方法5

1.3.1 起源与发展5

1.3.2 Sato和Nagao的方法6

1.3.3 Kaji的方法7

1.3.4 CMU的泛化的基于实例的机器翻译方法7

1.3.5 基于实例的机器翻译方法的优缺点8

1.4 基于信源信道模型的统计机器翻译方法8

1.4.1 IBM的统计机器翻译方法9

1.4.2 王野翊在卡内基·梅隆大学（CMU）的工作12

1.4.3 约翰·霍普金斯大学（JHU）的统计机器翻译夏季研讨班13

1.4.4 Yamada和Knight的工作--基于句法的统计翻译模型14

1.4.5 Och等的工作14

1.5 基于对数线性模型的统计机器翻译方法15

1.5.1 对数线性模型15

1.5.2 基于短语的统计翻译模型16

1.5.3 基于句法的统计翻译模型17

1.6 多引擎机器翻译方法18

1.6.1 Pangloss系统18

1.6.2 Verbmobil系统19  1.7 机器翻译方法的分类21

1.7.1 按翻译转换的层面进行分类21

1.7.2 按语言知识的表示形式进行分类22

1.8 小结23

第2章 基于层叠隐马尔可夫模型的汉语词法分析25

2.1 汉语分析技术概述25

2.1.1 汉语词法分析的难点25

2.1.2 汉语词法分析的任务和前人的工作26

2.2 汉语词法分析的层叠隐马尔可夫模型28

2.2.1 隐马尔可夫模型简介28

2.2.2 层叠隐马尔可夫模型的结构29

2.2.3 层叠隐马尔可夫模型的核心数据结构--词图30

2.2.4 层叠隐马尔可夫模型的参数训练30

2.3 粗切分： 基于一元语法的N最短路径方法31

2.4 未定义词识别： 基于角色的隐马尔可夫模型32

2.4.1 模型的定义32

2.4.2 角色的选取32

2.4.3 角色的标注34

2.4.4 未定义词的提取34

2.4.5 参数训练35

2.5 未定义词的概率估计： 基于角色的词语生成模型35

2.5.1 问题的由来35

2.5.2 模型的定义36

2.6 细切分： 词汇化的隐马尔可夫模型36

2.6.1 模型的定义36

2.6.2 最短路径的求解37

2.6.3 参数估计37

2.7 词性标注： 基于词性的隐马尔可夫模型38

2.7.1 基于隐马尔可夫模型的词性标注38

2.7.2 词性标记集的选择与转换38

2.8 实验结果42

2.8.1 各层隐马尔可夫模型的对比实验42

2.8.2 在国家“973”计划评测中的测试结果43

2.8.3 第一届国际分词大赛的评测结果43

2.9 小结45

第3章 融合语义知识和词汇化上下文概率语法的汉语句法分析46

3.1 前言46

3.2 Baseline句法分析器 46

3.3 语义知识集成48

3.3.1 语义类抽取48

3.3.2 构建基于类的选择偏向模型49

3.3.3 实验结果50

3.3.4 性能改进分析51

3.4 基于汉语宾州树库的句法分析相关工作52

3.5 小结53

第4章 汉语词法分析与句法分析融合策略研究54

4.1 引言54

4.2 句法分析系统55

4.2.1 融合语义知识的词汇化概率上下文无关语法模型55

4.2.2 结构上下文模型56

4.2.3 多子模型句法分析器56

4.3 词法分析系统（ICTCLAS) 57

4.4 融合策略57

4.4.1 切分转换： 基于转换的错误驱动学习57

4.4.2 标记转换： 条件随机场58

4.4.3 转换实验59

4.5 实验与分析60

4.6 比较62

4.7 小结63

第5章 基于“知网”的词汇语义相似度计算64

5.1 引言64

5.2 词语相似度及其计算的方法64

5.2.1 什么是词语相似度64

5.2.2 词语相似度与词语距离65

5.2.3 词语相似度与词语相关性65

5.2.4 词语相似度的计算方法66

5.3 “知网”简介67

5.3.1 “知网”的结构67

5.3.2 “知网”的知识描述语言69

5.4 基于“知网”的语义相似度计算方法71

5.4.1 词语相似度计算71

5.4.2 义原相似度计算71

5.4.3 虚词概念的相似度的计算72

5.4.4 实词概念的相似度的计算72

5.5 实验及结果75

5.6 小结76

第6章 词语对齐的对数线性模型78

6.1 引言78

6.2 对数线性模型79

6.3 特征函数80

6.3.1 IBM翻译模型80

6.3.2 词性标记转换模型80

6.3.3 双语词典81

6.4 训练81

6.5 搜索82

6.6 实验结果83

6.7 小结87

第7章 一种双语短语结构对齐搜索算法88

7.1 双语对齐技术概述88

7.1.1 各种层次的语言单位上的对齐技术88

7.1.2 短语结构对齐的定义89

7.1.3 短语结构对齐的过程91

7.1.4 短语结构对齐的问题和难点92

7.1.5 现有的短语结构对齐技术93

7.2 一种双语短语结构对齐的搜索算法96

7.2.1 算法简介96

7.2.2 局部对齐97

7.2.3 短语结构对齐的柱形搜索(beam search)算法99

7.2.4 局部对齐的归并99

7.2.5 局部对齐的评分100

7.2.6 搜索算法的时间复杂度分析100

7.3 实验及结果分析100

7.3.1 实验方案100

7.3.2 实验语料来源及规模102

7.3.3 短语结构对齐的实例分析102

7.3.4 实验结果及分析106

7.3.5 实验结果的进一步分析108

7.4 小结109

第8章 短语结构转换模板的提取与应用110

8.1 基于模板的机器翻译概述110

8.2 短语结构转换模板定义111

8.3 短语结构转换模板举例112

8.4 短语结构转换模板的提取112

8.5 短语结构转换模板的应用--基于模板的转换115

8.6 实验结果117

8.6.1 实验语料的来源及规模117

8.6.2 实验结果分析117

8.7 小结124

第9章 微引擎流水线机器翻译系统结构125

9.1 微引擎流水线的基本思想125

9.2 微引擎流水线的系统结构126

9.3 微引擎流水线的公共数据结构127

9.4 各种微引擎的程序接口和功能说明129

9.5 微引擎调度算法130

9.6 面向新闻领域的汉英机器翻译系统131

9.6.1 研究背景131

9.6.2 系统实现方案132

9.7 实验结果及分析134

9.8 小结135

第10章 总结及今后的工作136

附录 汉语词性标记集ICTPOS138

参考文献143

后记152