企业信息垂直搜索引擎的研究与实现

论文摘要

随着互联网的飞速发展,多元化信息的膨胀,传统的通用搜索引擎已经不能满足人们对个性化信息检索服务日益增长的需要,因而垂直搜索引擎应运而生。垂直搜索引擎是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式,通过针对某一特定行业、某一特定人群或某一特定需求提供的分类更细致精确、数据更全面深入、更新更及时的搜索服务。其特点是具有行业色彩,相比较通用搜索引擎的海量信息无序化,垂直搜索引擎则更加专著、具体和深入。本文的课题是“企业信息垂直搜索引擎的研究与实现”,对当前垂直搜索引擎的发展现状和前景进行深入的调研。对垂直搜索引擎中常用的一些算法进行了研究与分析,选择适合算法进行实现。在本文中特别对空间向量模型与中科院中文分词进行了深入研究与阐述。本文主要关注于对企业信息的垂直搜索引擎的研究与实现。基本实现过程主要是通过主题蜘蛛有针对性的获取网页,并对获取的文本信息进行结构化分析,利用向量空间模型计算相似度对网页进行过滤,确保获取更为准确的行业信息,并将这些信息按一定的结构存入数据库中。对主题蜘蛛获取的信息,通过中文分词,建立能快速响应用户请求的倒排序索引库。用户通过检索接口与数据库进行交互,获取个性化搜索服务。在对垂直搜索引擎算法的研究基础上,本文通过对数据库的设计、算法逻辑分析、用户界面的设计,以垂直搜索网站的形式实现了算法,并通过了相应的测试,使此网站能方便快捷的为用户提供专业信息搜索服务。最后对企业信息垂直搜索引擎进行总结与展望,对已完成工作进行了总结,对不足之处和需要改进的地方进行了展望,提出了后期的研究方向和目标,进而逐步完善系统,提供更加专业的垂直搜索服务。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景和意义
• 1.1.1 研究背景
• 1.1.2 研究意义
• 1.2 研究现状
• 1.2.1 垂直搜索与企业搜索、互联网搜索的区别
• 1.2.2 垂直搜索引擎的优势分析
• 1.2.3 垂直搜索引擎面临的问题
• 1.2.4 促进垂直搜索引擎发展的对策
• 1.3 论文组织结构
• 第二章 垂直搜索引擎的总体设计
• 2.1 系统总体设计
• 2.2 系统功能结构
• 2.2.1 网页采集功能
• 2.2.2 索引功能
• 2.2.3 搜索功能
• 2.2.4 用户管理
• 2.3 系统用例分析
• 2.3.1 角色定义
• 2.3.2 用例分析
• 2.4 本章小结
• 第三章 中文分词和VSM 算法
• 3.1 分词技术背景
• 3.1.1 基于字符串匹配的分词方法
• 3.1.2 基于理解的分词方法
• 3.1.3 基于统计的分词方法
• 3.1.4 中文分词难点
• 3.2 中科院的分词词典技术
• 3.3 VSM 简单介绍
• 3.4 本章小结
• 第四章 系统的详细设计
• 4.1 主题爬虫
• 4.1.1 主题爬虫基本流程
• 4.1.2 页面中链接提取
• 4.1.3 种子页面的选取
• 4.1.4 主题爬虫爬行方式
• 4.1.5 主题爬虫搜索策略
• 4.1.6 主题爬虫学习方式
• 4.2 文本信息抽取
• 4.2.1 HTML 简介
• 4.2.2 页面信息抽取对象
• 4.2.3 页面信息抽取规则
• 4.2.4 HTML 信息分析
• 4.2.5 相似度的确定
• 4.3 建立索引数据库
• 4.4 页面的排序
• 4.4.1 排序算法说明
• 4.4.2 系统中的网页排序
• 4.5 本章小结
• 第五章 系统的具体实现
• 5.1 数据库的设计
• 5.2 系统功能模块的实现
• 5.2.1 网络爬虫的实现
• 5.2.2 数据库的操作
• 5.2.3 用户信息管理
• 5.2.4 数据管理
• 5.2.5 用户检索的实现
• 5.3 本章小结
• 第六章 结论
• 致谢
• 参考文献
• 在攻读硕士研究生期间发表的论文
• 个人简历