基于Web论文库的学术领域双语资源研究

论文摘要

双语资源在计算语言学研究领域具有十分特殊的地位,对机器翻译、双语词典编纂、术语抽取、跨语言信息检索等研究和应用提供了有力的支持。对双语资源的研究面临着如下三个问题:如何获取双语资源?如何对双语资源进行加工处理?如何使用双语资源构建应用?本文基于学术领域双语资源对这三个问题进行了探讨和解决。基于Web论文库获取学术领域双语资源是一种自然而然的方法。本文设计并实现了Web论文库爬行器,对Web论文库进行增量爬行,高效地获取学术领域双语资源,从而构建动态更新的学术领域双语资源库。接着探讨了如何在获取到的学术领域双语资源库上进行句子对齐处理。本文实现了经典的基于统计的句子对齐算法,并对算法进行了一系列改进,包括断句不采用冒号为边界、选用更好的句对评价函数、结合学术领域双语资源自有的关键字信息、增加处理的匹配模式等,显著地提高了句子对齐算法的准确率和召回率。经过句子对齐处理的学术领域双语资源库采用xml文件的格式组织存储。最后,本文尝试在学术领域双语资源库上构建基于短语的统计机器翻译系统,证实了学术领域双语资源的可用性。基于Web论文库的学术领域双语资源研究,对双语资源的获取、加工处理以及应用这三个问题的解决提供了一个新的思路。如何更好地解决这三个问题将是下一步的研究方向。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 绪论
• 1.1 双语资源研究背景及意义
• 1.1.1 研究背景
• 1.1.2 研究意义
• 1.2 双语资源研究现状
• 1.2.1 语料库语言学
• 1.2.2 双语语料库
• 1.2.3 双语对齐技术
• 1.2.4 基于语料库的机器翻译
• 1.3 本文研究内容及论文结构
• 第二章 基于统计的机器翻译介绍
• 2.1 基于噪声信道模型的统计机器翻译
• 2.1.1 N-gram 语言模型
• 2.1.2 IBM 翻译模型
• 2.1.3 解码器
• 2.2 基于最大熵模型的统计机器翻译
• 2.3 噪声信道模型与最大熵模型的比较
• 2.4 本章小结
• 第三章 获取学术领域双语资源
• 3.1 网络爬行器
• 3.1.1 HTTP 协议
• 3.1.2 REP 协议
• 3.1.3 爬行器搜索策略
• 3.1.4 爬行器基本流程
• 3.2 双语资源获取
• 3.2.1 网页获取
• 3.2.2 网页解析
• 3.2.3 Web 论文库爬行器
• 3.2.4 爬行结果
• 3.3 本章小结
• 第四章 学术领域双语资源对齐处理
• 4.1 基于统计的句子对齐
• 4.1.1 基于统计的句子对齐算法介绍
• 4.1.2 基于统计的句子对齐具体实现
• 4.1.3 句子对齐评价方式
• 4.1.4 基于统计的句子对齐实验结果及评价
• 4.1.5 实验的两点改进
• 4.2 结合关键字的统计句子对齐
• 4.2.1 结合关键字的统计句子对齐算法
• 4.2.2 结合关键字的统计句子对齐实验结果
• 4.3 对未处理匹配模式的处理
• 4.4 学术领域双语资源库的句子对齐处理结果
• 4.5 本章小结
• 第五章 双语资源在统计机器翻译中的应用研究
• 5.1 基于短语的汉英统计机器翻译
• 5.2 词语对齐
• 5.3 短语抽取
• 5.4 语言模型训练及应用
• 5.5 解码
• 5.6 本章小结
• 第六章 总结与展望
• 参考文献
• 发表论文和科研情况说明
• 致谢