搜索引擎中中文分词与纠错模块的设计与实现

论文摘要

随着互联网的蓬勃发展,各种应用服务层出不穷,搜索引擎是其中最流行的一种服务,仅次于电子邮件。伴随着搜索引擎的普及,越来越多的人通过使用搜索引擎,获取日常工作和生活中需要的信息。搜索引擎涉及多种技术,其中,自然语言处理技术是其中重要的一种,它可以帮助搜索引擎提高查询准确度,并丰富搜索引擎的特色功能。中文分词技术与中文纠错技术是自然语言处理技术的两个分支,可应用在搜索引擎的分析系统与检索系统中,对于提高用户检索效率和检索结果准确度具有十分重要的意义。论文选题来源于一个提供旅游信息搜索的搜索引擎系统。文中对中文分词技术和中文查询词纠错技术进行了研究,并从软件工程的角度出发,设计与实现了系统的中文分词模块与纠错模块。具体的工作包括:（1）对一种基于规则的分词算法进行了改进,使用双hash词典结构降低了算法正向、反向最大匹配时的匹配次数;使用正反最大匹配切分策略取代逐词切分策略,降低了算法切分字符串的次数,提高了算法的分词效率。（2）通过相关算法研究提出并实现了一种基于拼音hash词典的同音别字词纠错算法,应用于搜索引擎系统中,用于同音别字词的纠错。（3）改进了双字驱动词典的结构,并结合新的字符串模糊匹配算法对漏字多字查询词进行纠错,增强了系统对漏字多字查询词的纠错能力。（4）将词典技术与Ajax技术相结合,实现了查询词智能提示功能。（5）采用N-gram切分的新词识别算法,用于发现未登录词,实现分词词库的动态更新,提高了中文分词模块的分词准确度。（6）在漏字多字查询词纠错建议中,选择相似度在一定范围内、词频数高于某一阀值的纠错建议词条,作为相关查询词,模拟了相关查询词推荐功能的实现。

论文目录

• 致谢
• 摘要
• ABSTRACT
• 目录
• 1 引言
• 1.1 研究背景与意义
• 1.2 本文的主要工作
• 1.3 本文的内容组织
• 1.4 本文的应用背景
• 2 技术综述
• 2.1 搜索引擎概述
• 2.1.1 搜索引擎的发展
• 2.1.2 搜索引擎的技术目标
• 2.1.3 搜索引擎的原理与结构
• 2.1.4 搜索引擎与自然语言处理技术
• 2.2 中文分词技术
• 2.2.1 中文特点
• 2.2.2 中文分词技术介绍
• 2.2.3 中文分词技术的发展
• 2.2.4 中文分词技术的难点
• 2.3 中文纠错技术
• 2.3.1 中文纠错技术介绍
• 2.3.2 纠错技术的发展
• 2.4 本章小结
• 3 中文分词模块的实现
• 3.1 中文分词模块介绍
• 3.2 模块的设计
• 3.3 一种基于规则的中文分词算法的改进
• 3.3.1 算法改进的理论依据
• 3.3.2 算法的词典设计
• 3.3.3 基于正反最大匹配的切分策略
• 3.3.4 改进后算法的描述
• 3.3.5 实验结果
• 3.4 未登录词的识别
• 3.4.1 未登录词的定义
• 3.4.2 未登录词识别的意义
• 3.4.3 未登录词识别的算法
• 3.4.4 实验结果
• 3.5 本章小结
• 4 中文查询词纠错模块的实现
• 4.1 中文纠错模块的介绍
• 4.2 中文查询词纠错的需求
• 4.3 模块的设计
• 4.4 同音别字查询词纠错
• 4.4.1 纠错原理
• 4.4.2 同音别字词纠错算法
• 4.5 漏字多字查询词纠错
• 4.5.1 纠错原理
• 4.5.2 新的字符串模糊匹配算法
• 4.5.3 多字驱动字典
• 4.5.4 漏字多字词纠错算法
• 4.6 纠错功能的扩展应用
• 4.6.1 中文查询词智能提示
• 4.6.2 相关查询词推荐
• 4.7 本章小结
• 5 总结
• 参考文献
• 作者简历
• 学位论文数据集