基于多目标优化的中文分词模型的研究

论文摘要

自然语言自身的模糊性和复杂性,使得中文分词问题在理论上很难找到一个好的解决方案。在实际应用中,中文分词也难以满足诸如中文搜索、文本分类和机器翻译的需求。通过分析各种不同的分词模型发现,多个分词要素对切分方案的共同作用常常体现和统一于一个概率公式,称为单目标评价函数。既然多个分词特征共同作用于切分结果,那么理论上可以利用多个评估函数从不同侧面评价结果。不同的侧面对应不同的评价函数,切分结果的求解也就变为优化多个目标函数的过程,分词问题因此化归为多目标优化问题。本文选择句子的二元词频概率、二元词性概率和句子子串长度方差作为目标函数。如果把切分方案看做一个个体,那么把不同的分词方案组合成群体,利用交叉、变异和选择操作对种群进化,利用环境约束操作对种群个体约束,从而形成多目标优化的整体流程。其中,利用多目标向量对所有个体进行Pareto排序,同时为了保持群体多样性,引入聚集距离的概念,通过Pareto排序和聚集距离构建偏序关系,继而选择优秀解。受个体进化在自然界中会受到环境影响的启发,针对分词问题加入了环境约束操作,约束个体变异和进化的方向,同时克服进化算法在局部搜索方面的缺点。在实现的过程中,对句子切分子串信息值标注,信息值可以反映子串的词类属性(人名或者地名等)、歧义的位置属性(和前串还是后串发生歧义)以及确定属性(可以确定的符号、在库词等)。最后进行了歧义测试、整体测试以及基于多特征的人名识别测试,从测试结果来看,利用多目标优化模型解决中文分词问题也许是一种崭新的方法。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 引言
• 1.1 论文背景
• 1.2 主要工作
• 1.3 研究意义
• 1.4 论文结构
• 第二章 中文分词概述
• 2.1 中文分词问题的描述
• 2.2 中文分词要素的概述
• 2.2.1 匹配属性
• 2.2.2 词频
• 2.2.3 局部词频、全局词频
• 2.2.4 互信息
• 2.2.5 t-测试（差）
• 2.2.6 上下文特征向量
• 2.2.7 词性
• 2.2.8 Tags
• 2.2.9 字标引系列
• 2.2.10 语义要素
• 2.2.11 分词要素小结
• 2.3 中文分词方法的概述
• 2.3.1 基于匹配
• 2.3.2 N-最短路
• 2.3.3 n-gram统计
• 2.3.4 隐马尔科夫（HMM），MIIM
• 2.3.5 Source-Channel和SVM
• 2.3.6 基于规则学习的分词方案
• 2.3.7 基于搜索的分词方案
• 2.3.8 自适应的迭代模型
• 2.3.9 最大熵、条件随机场
• 2.4 关于分词结果的比较
• 2.5 本章小结
• 第三章 多目标优化相关知识
• 3.1 多目标优化问题概述
• 3.1.1 多目标优化问题的一般描述
• 3.2 多目标问题的一般解决方案
• 3.2.1 加权法
• 3.2.2 约束法
• 3.2.3 进化算法
• 3.3 本章小结
• 第四章 多目标优化模型的建立
• 4.1 知识库学习
• 4.2 建立分词的多目标优化模型
• 4.2.1 多个目标的选择
• 4.2.2 切分方案编码
• 4.2.3 模型框架
• 4.2.4 变异
• 4.2.5 交叉
• 4.2.6 初始化种群
• 4.2.7 选择
• 4.2.8 环境约束
• 4.2.9 数字相关词语的识别
• 4.2.10 总体算法
• 4.2.11 算法时间复杂度分析
• 4.3 本章小结
• 第五章 测试和分析
• 5.1 歧义测试
• 5.2 人名识别测试
• 5.3 总体测试结果
• 5.4 本章小结
• 第六章 总结与展望
• 6.1 本文总结
• 6.2 未来展望
• 参考文献
• 发表文章目录
• 致谢
• 代码说明
• 1 代码说明和部分代码
• 2 分词部分结果
• 详细摘要