基于遗传算法的汉语文本主题词提取研究

论文摘要

本文使用概念语义网络的思想构造主题词典,描述词间概念语义关系,从而在概念层次上理解文本的主题,克服了以往只能从形式上进行机械的匹配抽词来完成主题标引的缺陷,实现了规范的主题词提取,提高了中文文本主题自动标引质量。首先,分别使用有词典分词方法和无词典分词方法对样例文档进行切词,计算出关键词的权重,初步抽取出代表样例文档的关键词向量。然后,将遗传算法应用到中文文档的主题提取上,对初步得到的文档矢量做进一步的精化和寻优处理,找出最能反映文档内容,又比较简洁的特征矢量。本文利用人工智能技术、自然语言理解相关技术和相关数学理论将文档的主题表示成词集,简化了文档主题的表示形式,从而为中文文本自动分类、自动摘要、案例检索等工作打下基础。同时将智能计算理论应用到中文文本主题提取上,设计一套适合该种数据集主题提取的遗传算法,进一步丰富了智能计算的应用领域。

论文目录

• 内容提要
• 第一章 汉语分词技术
• 1.1 汉语分词技术概述
• 1.2 汉语分词方法
• 1.2.1 基于理解的分词方法
• 1.2.2 基于字符串匹配的机械分词方法
• 1.2.3 基于词频统计的分词方法
• 1.3 分词算法方面的难题
• 1.3.1 歧义切分字段
• 1.3.2 未登录词识别
• 1.3.3 分词与理解的先后
• 1.4 自动分词系统的评价准则
• 第二章 概念语义网络分词词典设计
• 2.1 概念语义网
• 2.1.1 语义网络
• 2.1.2 主题词表
• 2.1.3 主题词间的关系
• 2.1.4 概念语义网络模型
• 2.2 词典的建立
• 2.3 分词算法的研究与实现
• 2.3.1 改进的正向最大匹配算法
• 2.3.2 无词典分词技术
• 第三章 遗传算法
• 3.1 遗传算法概述
• 3.3 遗传算法的基本结构
• 3.3.1 选择操作
• 3.3.2 交叉算子
• 3.3.3 变异算子
• 3.4 遗传算法的实现步骤
• 第四章 基于遗传算法的主题词提取
• 4.1 问题定义
• 4.2 遗传算法的设计
• 4.2.1 编码表示
• 4.2.2 选择策略
• 4.2.3 变异策略
• 4.2.4 杂交策略
• 4.2.5 适应函数设计
• 4.3 实验分析
• 4.4 结论
• 参考文献
• 中文摘要
• ABSTRACT
• 致谢