中文分词算法在GIS中的应用研究

论文摘要

随着科技的进步,网络技术的不断发展,地理信息系统也逐渐应用到各个方面并渗入到人们的日常生活当中。针对各阶层用户提供一种基于自然语言的地理信息系统查询接口具有广阔的开发前景。接口的核心工作就是将自然语言转化成计算机可以识别的机器语言,其首要任务就是将自然语言查询语句进行切分和词性筛选,这也是本文的工作重点。首先,将数据逻辑划分为通用词典、空间对象词典和空间关系词典,对字典中的各种词性进行总结并用字符表示。在基于Trie索引树的分词词典的数据结构中加入“判断标示”,用以给后续分词算法进行判定使用。高频前缀降低了Trie索引树的空间浪费并降低了树的深度。其次,基于逆向最大匹配算法的“长词优先”原则,提出了根据“最长词可能性”原则选择匹配首字的分词方法,算法过程中同样处理长词覆盖短词的情况。该算法的时间复杂度为O(S)是线性的。最后,通过浅层词性筛选算法,解决数据多词性和多词性描述问题。通过该算法,获得查询语句中各词的唯一词性描述信息。链式栈结构降低了空间复杂度,该算法的正确性约为90%。根据上述算法实现了用于地理信息系统的自然语言查询语句切分、词性筛选系统。实验结果表明,该系统在速度上和正确性上做到了均衡,正确性有效地提高。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 课题的背景和意义
• 1.2 地理信息系统的研究内容及进展
• 1.2.1 地理信息系统的研究内容
• 1.2.2 地理信息系统的国外研究进展
• 1.2.3 地理信息系统的国内研究进展
• 1.3 自然语言理解研究内容及进展
• 1.4 数据库自然语言查询接口研究进展
• 1.4.1 数据库自然语言查询接口的国外研究进展
• 1.4.2 数据库自然语言查询接口的国内研究进展
• 1.5 本文的主要内容
• 第二章 切分、词性筛选系统的相关知识及模型
• 2.1 受限汉语与ER模型
• 2.1.1 受限汉语
• 2.1.2 ER模型
• 2.1.3 系统实现的可能性
• 2.2 词典的数据结构和Trie索引树
• 2.2.1 词典数据结构
• 2.2.2 Trie索引树
• 2.3 自动分词算法的分类
• 2.3.1 基于字符串匹配的分词方法
• 2.3.2 基于理解的分词方法
• 2.3.3 基于统计的分词方法
• 2.4 自然语言查询GIS接口模型及切分、词性筛选系统模型
• 2.4.1 自然语言查询GIS接口模型
• 2.4.2 切分、词性筛选系统模型
• 2.5 本章小结
• 第三章 分词词典的设计
• 3.1 分词词典的设计
• 3.1.1 通用词典
• 3.1.2 空间对象专用词典
• 3.1.3 空间关系词典
• 3.2 改进的基于Trie索引树的分词词典数据结构
• 3.3 改进的基于Trie索引树的分词词典的空间复杂度分析
• 3.4 本章小结
• 第四章 基于"最长词可能性"的分词算法
• 4.1 基于"最长词可能性"的分词算法
• 4.1.1 基于"最长词可能性"的分词算法的相关知识
• 4.1.2 基于"最长词可能性"的分词算法思想及简要流程图
• 4.1.3 基于"最长词可能性"的分词算法详细步骤及流程图
• 4.2 基于"最长词可能性"的分词算法的性能评估
• 4.2.1 算法的时间复杂度分析
• 4.2.2 算法的正确性
• 4.3 本章小结
• 第五章 浅层词性筛选算法在GIS中的应用
• 5.1 浅层词性筛选算法
• 5.1.1 应用于浅层词性筛选算法的结构分析
• 5.1.2 浅层词性筛选算法
• 5.2 浅层词性筛选算法的性能评估
• 5.2.1 算法的时间复杂度
• 5.2.2 算法的正确性
• 5.2.3 算法的空间复杂度
• 5.3 本章小结
• 第六章 总结与展望
• 6.1 论文研究工作总结
• 6.2 未来的研究方向和展望
• 参考文献
• 致谢
• 攻读学位期间主要研究成果