中文关键词提取技术

论文摘要

新闻中的关键词可以提高用户体验,帮助读者加速阅读和筛选感兴趣的内容。然而人工为新闻标注关键词需要消耗大量人力、物力和财力。我们实现了具有实用价值的中文关键词提取系统,适用于各个领域的新闻资料。实验表明我们的关键词提取算法,不论是准确性还是实用性均优于传统算法。为了增强关键词的表达能力,我们提出了短语级别的中文关键词提取算法。首次将查询日志(Query log)应用到短语合并的算法中,结合局部频率,边界熵,边界多样性等统计算法,极大地提高了生成短语的正确率。同时,从工程角度考虑,结合查询日志的特性,优化算法,大大加快了生成短语的速度。实验数据证明,短语级别的关键词极大地提高了准确率和召回率。我们首次将诸如短语长度信息,短语位置信息,伪语义相似度信息,背景信息等融合到TextRank模型中,将原本无向加权图强化为有向加权图,增强了TextRank模型的表达力,使基于TextRank模型的关键词提取算法更加有效。实验结果表明我们的算法是非常有效的。目前中文关键词提取领域缺乏一套通用的标准和评测集。为此,我们制订了一套明确的“关键词提取规范”。并将这套规范交由第三方公司标注了一套关键词提取评测集,为中文关键词提取的规范化做出一些贡献。

论文目录

• 摘要
• ABSTRACT
• 目录
• 插图索引
• 表格索引
• 第一章 绪论
• 1.1 关键词提取的背景
• 1.2 关键词提取的应用
• 1.3 关键词提取所面临的挑战
• 1.4 论文安排
• 第二章 关键词提取
• 2.1 引言
• 2.2 基于有监督学习的关键词提取
• 2.3 基于无监督学习的关键词提取
• 2.4 中文关键词提取的发展现状
• 2.5 本章小结
• 第三章 算法介绍
• 3.1 引言
• 3.2 PageRank
• 3.3 TextRank
• 3.3.1 算法描述
• 3.3.2 算法优点
• 3.4 中文分词
• 3.5 短语合并
• 3.5.1 局部频率
• 3.5.2 边界熵
• 3.5.3 边界多样性
• 3.5.4 系统实现
• 3.6 信息整合及网络强化
• 3.6.1 伪语义相似度信息
• 3.6.2 短语长度信息
• 3.6.3 短语位置信息
• 3.6.4 背景信息
• 3.7 本章小结
• 第四章 实验结果
• 4.1 数据集构建
• 4.2 背景数据集构建
• 4.3 评价方法
• 4.4 实验结果分析
• 4.4.1 短语合并策略
• 4.4.2 信息整合
• 4.4.3 性能参数优化
• 4.5 本章小结
• 第五章 演示系统介绍
• 5.1 系统框架
• 5.2 演示系统说明
• 第六章 总结与展望
• 6.1 本文的主要贡献
• 6.2 进一步的研究工作
• 附录A 关键词提取规范
• 附录B 测试数据样例
• 参考文献
• 致谢
• 攻读学位论文期间发表的学术论文目录