科技论文关键词抽取技术的研究

论文摘要

本文以万方数据和会议集作为测试语料,重点介绍了基于PAT-Tree关键词的抽取方法和知网在关键词抽取中的应用。首先通过实验验证关键词具有的一些特征并介绍了常用的关键词的过滤方法。接着介绍了能够方便快捷地进行全文串频统计的PAT-Tree数据结构以及互信息。在此基础上提出了基于PAT-Tree关键词的抽取方法,抽取过程基于从原始文本中得到的统计信息,取出符合筛选条件的字符串。总体来说分为四个阶段,分别为:对文本进行预处理;在预处理过的文本上建立PAT-Tree,获取文章词频信息;在PAT-Tree上抽取候选关键词;对关键词过滤以及选取关键词。我们把抽取的重点放在了自动过滤符合统计条件的字符串,进一步精选候选关键词上面。我们在精选过程中采用了新的过滤手段,并借鉴了其它方法的优点,形成了一套综合的过滤手段,有效地提高了精确度,减少了计算量。本文的另外一个特色,考虑到会议集是领域语料,特别使用分治法的思想来处理密集计算,高效地建立PAT-Tree,一方面为抽取领域关键词提供了方便,另一方面也使得关键词抽取能够用分布式计算的方法来实现,提供了进一步扩大处理能力的空间。实验结果表明,采用此方法能够高效地抽取关键词,特别是领域关键词的抽取取得了良好的效果,达到了预期目的。最后,引入知网来计算同义词的相似度,以此来解决关键词集合中同义词同现问题和词语由于同义词问题不能进入关键词集合的问题。

论文目录

• 摘要
• Abstract
• 第一章 序言
• 1.1 课题研究的背景和意义
• 1.1.1 网页浏览
• 1.1.2 信息检索
• 1.1.3 专利信息挖掘
• 1.2 国内外研究现状
• 1.3 关键词抽取的方法
• 1.3.1 基于词典的关键词抽取方法
• 1.3.2 基于规则的关键词抽取方法
• 1.3.3 基于统计的关键词抽取方法
• 1.3.4 基于文本特征的关键词抽取方法
• 1.4 本文组织
• 第二章 关键词抽取的参考要素
• 2.1 关键短语的界定
• 2.2 特征分析
• 2.3 过滤方法
• 2.4 本章总结
• 第三章 PAT-Tree 及互信息
• 3.1 PAT-Tree 介绍
• 3.1.1 PAT-Tree 节点要素
• 3.1.2 PAT-Tree 应用举例
• 3.2 Sistring 详解
• 3.2.1 Sistring 概念
• 3.2.2 Sistring 功能
• 3.3 如何构建 PAT-Tree
• 3.3.1 数据二进制编码
• 3.3.2 构建PAT-Tree
• 3.4 字符串搜索
• 3.5 互信息
• 3.5.1 互信息定义
• 3.5.2 互信息演化
• 3.6 本章总结
• 第四章 基于 PAT-Tree 关键词抽取
• 4.1 文本预处理
• 4.2 构建 PAT-Tree
• 4.3 抽取关键词
• 4.4 关键词过滤
• 4.5 领域关键词抽取
• 4.6 实验结果分析
• 4.7 本章总结
• 第五章 知网在关键词抽取中的应用
• 5.1 知网简介
• 5.2 利用知网进行相似度计算
• 5.3 知网在本文中的应用
• 5.3.1 解决关键词集合中同义词同现问题
• 5.3.2 解决词语由于同义词问题不能进入关键词集合的问题
• 5.4 实验结果分析
• 5.5 本章总结
• 第六章 结束语
• 6.1 论文总结
• 6.2 研究展望
• 参考文献
• 攻读学位期间公开发表的论文
• 致谢