垂直搜索引擎数据分析技术的研究与实现

论文摘要

针对通用搜索引擎的信息量大、查询不准确、深度不够等问题,本文采用垂直搜索引擎技术和电子商务服务相结合的新的服务模式,设计了一个电子商务垂直搜索引擎系统。论文重点研究了系统的数据分析模块中对页面数据信息抽取方式和数据索引的关键技术和实现算法;设计实现了数据展示模块的用户查询接口,同时对检索结果做了相关性分析。在对各类信息抽取技术进行分析和比较后,设计了本系统的信息抽取方案;针对该方案本文设计了独有的索引结构,在数据索引过程中应用了基于词库的最大匹配分词算法,采用顺排和倒排索引相结合的文件索引方式建立索引。经过试验证明,本文设计和实现的电子商务搜索引擎能够满足用户结构化查询需求,该系统具有较好的实用价值和应用前景。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 选题背景及意义
• 1.1.1 搜索引擎的兴起和发展
• 1.1.2 搜索引擎目前存在的问题
• 1.2 垂直搜索引擎的国内外现状
• 1.3 本文主要工作
• 第二章 搜索引擎综述
• 2.1 搜索引擎的分类
• 2.1.1 基于机器人的搜索引擎
• 2.1.2 目录式搜索引擎
• 2.1.3 元搜索引擎
• 2.1.4 垂直搜索引擎
• 2.2 搜索引擎的评价指标
• 2.3 通用搜索引擎的系统结构
• 2.4 搜索引擎的工作流程
• 第三章 图书主题垂直搜索引擎系统的总体设计
• 3.1 系统的设计
• 3.1.1 系统结构设计
• 3.1.2 数据结构设计
• 3.2 系统面临的问题和解决方案
• 3.2.1 数据源的确定
• 3.2.2 信息抽取和数据的结构化
• 3.2.3 分词词库的组织
• 3.2.4 数据的索引设计
• 第四章 页面分析和页面信息抽取方式的应用
• 4.1 页面的分析和预处理
• 4.1.1 页面的预处理
• 4.1.2 页面的表示
• 4.2 信息抽取和数据的结构化
• 4.2.1 信息抽取方式研究
• 4.2.1.1 基于自然语言处理方式的信息抽取
• 4.2.1.2 基于包装器归纳方式的信息抽取
• 4.2.1.3 基于ONTOLOGY 方式的信息抽取
• 4.2.1.4 基于HTML 结构的信息抽取
• 4.2.1.5 本文采取的信息抽取方式特点
• 4.2.2 包装器的设计
• 4.2.2.1 包装器的生成
• 4.2.2.2 包装器的归纳学习
• 4.3 页面数据的重新存储
• 第五章 数据索引模块的设计与实现
• 5.1 中文分词技术的应用
• 5.1.1 中文分词算法研究
• 5.1.2 中文分词中的关键问题
• 5.1.2.1 通用词表和切分规范
• 5.1.2.2 歧义切分字段
• 5.1.2.3 未登录词识别
• 5.1.3 切分原理
• 5.1.3.1 词库组织
• 5.1.3.2 切分方法
• 5.1.4 分词系统的实现和切分结果对比分析
• 5.2 数据索引的设计和实现
• 5.2.1 索引的目的和原理
• 5.2.2 索引文件结构
• 5.2.3 索引数据组织
• 5.2.4 索引文件导出过程
• 5.3 本章总结
• 5.3.1 存在的问题
• 5.3.2 改进的方法
• 第六章 检索结果的分析和用户查询接口的实现
• 6.1 检索结果的相关度分析
• 6.1.1 TF/IDF 算法
• 6.1.2 优化的TF/IDF
• 6.1.3 检索结果的排序
• 6.2 查询接口实现原理
• 6.2.1 检索过程
• 6.2.2 用户查询接口的实现
• 6.3 本章总结
• 6.3.1 存在的问题
• 6.3.2 可改进的地方
• 第七章 总结与展望
• 参考文献
• 致谢
• 在学期间发表的学术论文和参加科研情况