中文短语摘要的研究和系统开发

论文摘要

在信息检索过程中,在选择相关信息结果时,摘要常被用来支持用户快速、准确得进行判断。一种强调简洁（较短的长度）和简单（比较少的复合句）的指示性摘要被提出来,称之为“一瞥”摘要。基于这种“一瞥”摘要的思想,一种短语摘要的方法被设计开发出来,用来替代目前大多数摘要系统采用的重要句子选择的方法。基于这一想法,富士施乐公司对日文的短语摘要系统已经开发完毕,并投入应用。我们认为这种短语摘要方法同样也适用于中文信息检索系统。因此,本文针对中文短语自动摘要系统进行了研究和开发。由于日文短语摘要系统的设计是建立在日语语法结构上的,而中文和日文在语法结构上有很大的不同,所以中文短语摘要系统需要重新设计。语法结构的变化同样也要求在短语生成算法上的变化。在本文中,对日文短语摘要系统进行了简要的介绍之后,提出了针对中文的短语摘要系统的算法和设计方案。基于日文短语摘要系统的设计框架,我们开发了中文短语摘要系统的原型。日文短语摘要在生成短语时通过选择核心关系和添加必要的附加关系构成,而中文短语摘要系统通过分析原文,选择谓词参数（Pred-Arg）结构来生成摘要。LFG（Lexical-Functional Grammar）被用来进行原文基本解析。为了评价短语摘要系统的性能,我们改进了在给定信息检索的任务的情况下,基于任务的评价实验。该实验被设计类似在真实的万维网中检索资料,选择合适的规模的文件来判断文件的相关性,并引入新的评价方法来表示检索的准确性。实验的结果表明短语摘要在大多数情况下比目前其他的摘要方法在删选文件上有更高的准确性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 目的
• 1.2 历史与现状
• 1.3 研究内容
• 1.4 研究成果
• 1.5 论文结构
• 第二章 自动文摘的基本理论依据
• 2.1 文摘的概念和内容
• 2.1.1 文摘的概念
• 2.1.2 文摘的分类
• 2.1.3 本文研究的文摘
• 2.2 汉语自动分词
• 2.3 词条权重的计算
• 2.3.1 特征词和非特征词
• 2.3.2 TF IDF 方法
• 2.3.3 本文采用的词条权重计算方法
• 2.4 自动文摘的方法
• 2.4.1 基于统计的文摘
• 2.4.2 基于理解的文摘
• 2.4.3 其他方法的自动文摘
• 2.4.4 本文采用的自动文摘方法
• 2.5 本章小结
• 第三章 日文短语自动摘要系统
• 3.1 引言
• 3.2 日文短语自动摘要系统的框架
• 3.2.1 日文中的助词在语法中的作用
• 3.2.2 日文短语摘要系统的原理
• 3.3 日文短语自动摘要系统各部分说明
• 3.3.1 关系分析
• 3.3.2 关系值计算
• 3.3.3 核心关系选择
• 3.3.4 关系补充
• 3.3.5 摘要的生成
• 3.3.6 再计算过程
• 3.4 本章小结
• 第四章 中文短语自动摘要系统设计
• 4.1 引言
• 4.2 中文短语摘要系统的注意点
• 4.2.1 日文和中文的区别
• 4.2.2 语言区别带来的设计变化
• 4.3 LFG 解析
• 4.3.1 LFG
• 4.3.2 XLE
• 4.3.3 F-Structure 的再解析
• 4.4 单词值的计算
• 4.4.1 TF 和GTF
• 4.4.2 计算公式的选择
• 4.5 Pred-Arg 结构值的计算
• 4.5.1 Pred-Arg 结构
• 4.5.2 Pred-Arg 结构的补充
• 4.5.3 Pred-Arg 结构的计算
• 4.6 摘要的生成
• 4.6.1 摘要生成的框架
• 4.6.2 摘要中出现的问题
• 4.7 再计算过程
• 4.8 摘要的结果示例
• 4.9 本章小结
• 第五章 中文短语自动摘要系统的评价
• 5.1 引言
• 5.2 基于任务的自动摘要评价
• 5.3 其他自动摘要方法的介绍
• 5.4 中文短语自动摘要评价的设计
• 5.4.1 问题的改进
• 5.4.2 评价人的改进
• 5.4.3 相关尺度的改进
• 5.4.4 评价性计算方法
• 5.5 中文短语自动摘要评价样本
• 5.6 中文短语自动摘要的评价结果
• 5.6.1 召回率和准确率
• 5.6.2 F-measure 值
• 5.6.3 相关值
• 5.7 本章小结
• 第六章 中文短语自动摘要系统
• 6.1 引言
• 6.2 系统功能设计
• 6.3 中文短语摘要系统Demo
• 6.4 中文自动摘要系统的一些补充说明
• 6.5 本章小结
• 第七章 结束语
• 致谢
• 参考文献
• 攻读硕士学位期间已发表或录用的论文