自动文摘技术的研究与应用

论文摘要

随着社会的进步和互联网技术的发展，网络信息量的频繁剧增，当今社会面临着信息大爆炸。当大量的信息像潮水般涌向人们时，传统人工处理信息的手段已经远远不足。为了解决这一问题，科学界提出文摘自动生成的技术。 自动文摘通常被视为自然语言处理的一项任务。文摘是准确全面地反映某一文章中心内容的简洁连贯的短文，与索引相比更能满足信息获取的要求。我国对自动文摘技术的研究目前还在初级阶段，但此技术所具有的重要作用是不可低估的，必将在未来的信息处理领域得到广泛的应用。 本论文基于现阶段的研究现状下，运用统计自然语言处理方法，首先对文章进行自动分词，利用停用词表对分词结果进行过滤，并利用知网(HowNet)获得概念，建立概念向量空间模型。通过计算词语重要度和句子重要度，系统得到一个粗略的文摘。最后再进行冗余计算，得到本文章的文摘。 本文在上述研究的基础上，设计了基于概念向量空间模型的自动文摘系统，实现了机器自动生成文摘的各个模块的功能，证实了本文利用概念统计的方法比基于词频统计的方法得到的文摘，能更准确含概原文章的中心内容。

论文目录

• 摘要
• ABSTRACT
• 目录
• 第一章 绪论
• 1.1 自动文摘的研究意义和相关概念
• 1.1.1 研究意义
• 1.1.2 文摘相关概念及目的
• 1.1.3 国内外研究现状
• 1.2 本课题研究的内容
• 1.3 本文内容组织
• 第二章 自动文摘的相关模型
• 2.1 向量空间模型
• 2.1.1 文本向量空间表示
• 2.1.2 特征项选择
• 2.1.3 特征项权重计算
• 2.1.4 文本间的相似度度量
• 2.2 存在的问题
• 2.3 加权的VSM算法改进
• 第三章 基于概念向量空间模型关键技术的研究
• 3.1 自动分词技术的研究
• 3.1.1 自动分词算法
• 3.1.2 自动分词歧义问题及初步处理
• 3.2 知网
• 3.2.1 知网的特色
• 3.2.2 义原的提取与考核
• 3.2.3 知网系统的概貌
• 3.2.4 基于“知网”的语义相似度计算方法
• 3.3 关键技术
• 3.3.1 基于HowNet概念获取
• 3.3.2 概念重要度计算
• 3.3.3 基于概念向量空间模型的自动文摘生成
• 第四章 系统实现与试验分析
• 4.1 系统实现
• 4.1.1 系统的主要功能
• 4.1.2 系统的主要模块设计
• 4.2 试验分析
• 4.2.1 内部评测
• 4.2.2 外部评测
• 4.3 中文自动文摘研究存在的问题及提出的相关技术
• 4.3.1 存在的问题
• 4.3.2 提出的相关技术
• 第五章 总结
• 致谢
• 参考文献