主题搜索引擎聚类算法的研究

论文摘要

当互联网走入我们的生活并逐渐改变这个世界的时候,搜索引擎,作为信息检索最有效的工具也逐渐被我们熟悉和使用。互联网给我们带来了信息共享的一次巨大革命,搜索引擎给这场革命注入了鲜活的血液。面对浩如烟海的网络资源,搜索引擎就好像是航船的指南针,引领着人们在网络中冲浪。根据最近统计,在中国搜索引擎使用率达到81.9%,用户规模3.75亿。搜索引擎已经成为第一大网络应用服务,是用户获取信息的首要途径。本文首先介绍了国内外搜索引擎技术的发展及研究现状,总结了目前常用的全文检索搜索引擎的基本工作原理和存在的问题,接着详细讨论了文本聚类的原理以及几种常有聚类算法和改进方向。本文通过大量实验,提出了词频变差的理论,并将该理论应用于主题词的提取。通过对聚类算法的研究,提出了最优密度选择聚类算法。并将此算法和层次聚类算法结合在一起进行文本聚类,优化了文本聚类技术,提升了搜索引擎查询性能。在此基础上实现了面向主题的文本聚类算法的搜索引擎。该搜索引擎与同类搜索引擎相比,更具有专业化特点,查询信息的准确度也有所提升。

论文目录

• 摘要
• ABSTRACT
• 1 引言
• 1.1 搜索引擎发展概述
• 1.1.1 搜索引擎的发展史
• 1.1.2 搜索引擎分类
• 1.1.3 主题搜索引擎介绍
• 1.2 搜索引擎研究现状
• 1.2.1 国外搜索引擎研究现状
• 1.2.2 国内搜索引擎研究现状
• 1.2.3 搜索引擎的发展趋势
• 1.3 搜索引擎的关键技术
• 1.3.1 信息收集和存储技术
• 1.3.2 信息预处理技术
• 1.3.3 信息索引技术
• 1.4 搜索引擎的不足
• 1.5 研究目的与意义
• 1.6 论文结构介绍
• 2 文本聚类
• 2.1 聚类分析的原理
• 2.2 聚类分析方法介绍
• 2.2.1 划分方法
• 2.2.2 层次方法
• 2.2.3 密度方法
• 2.3 三种算法比较
• 2.4 本章小结
• 3 算法设计
• 3.1 网页的预处理
• 3.1.1 内容压缩
• 3.1.2 编码转换
• 3.1.3 中文分词
• 3.2 词频变差主题度计算
• 3.2.1 词频变差的概念
• 3.2.2 词频变差理论
• 3.2.3 词频变差算法流程
• 3.3 相似度计算
• 3.3.1 倒排索引
• 3.3.2 主题度计算
• 3.3.3 相似度计算
• 3.3.4 主题词提取
• 3.4 文本聚类
• 3.4.1 最优密度聚类算法
• 3.4.2 输入参数ε的求解
• 3.4.3 算法流程
• 3.5 本章小结
• 4 搜索引擎的实现
• 4.1 主题爬虫程序设计
• 4.1.1 爬虫基本结构
• 4.1.2 爬虫抓取流程
• 4.1.3 提高爬虫效率
• 4.2 信息处理模块
• 4.2.1 文本处理
• 4.2.2 文本聚类实现
• 4.3 查询功能模块
• 4.3.1 查询处理
• 4.3.2 结果显示
• 4.3.3 查看相关
• 4.4 数据库设计
• 4.4.1 MySQL数据库介绍
• 4.4.2 数据库设计
• 4.5 主题搜索引擎的性能测试
• 4.5.1 测试环境和测试任务
• 4.5.2 结果比较
• 4.6 本章小结
• 5 主题搜索引擎在林业领域的应用
• 5.1 FTSE的结构
• 5.2 FTSE系统运行
• 5.3 FTSE系统初始化
• 5.4 主题更新
• 5.4.1 种子站点的更新
• 5.4.2 主题词表的更新
• 5.5 测试结果
• 5.6 本章小结
• 6 总结与展望
• 6.1 总结
• 6.2 展望
• 参考文献
• 个人简介
• 导师简介
• 获得成果目录清单
• 致谢