搜索引擎的研究与设计

论文摘要

随着Internet的迅猛发展,web信息的与日剧增,人们想要在互连网快速搜索到准确信息就显得越来越困难。而搜索引擎技术则是以一定的策略在互联网中搜集、发现信息,同时对信息进行理解、提取、组织和处理,并为用户提供检索服务,从而起到信息导航的作用,搜索引擎的研究成为了计算机工业界和学术界争先研究和开发的对象。搜索引擎作为互联网上最主要的信息搜索工具,在各个领域都已得到广泛应用。然而,由于网络信息量迅猛增加和网络信息组织的无序性,人们对信息服务的个性化、智能化的需求也越来越高。针对以上问题,本文提出了一种简化的向量空间检索模型,基于Robot的搜索引擎系统,并在传统信息检索技术的基础上,对检索算法进行改进,提出一个能快速、准确地从数据库中挖掘出有价值的信息并送达客户的信息服务体系结构模型,并解决这一模型中所涉及到的数据分析与排序等关键技术问题。该模型能够具有高效、智能的特点。本文还对其中涉及的若干问题进行了详细的阐述。主要内容有:1. Web挖掘和信息检索理论。2.信息检索及搜索引擎的原理分析。3.详细研究了Google的PageRank(网页级别)算法,实现PageRank值作为一个重要的排名算法在基于Robot搜索引擎的排名算法中得到了应用。4.实现了基于Robot的搜索引擎的检索策略和排名策略的设计。并在设计中利用了PageRank算法来计算页面等级的值。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 搜索引擎概述
• 1.2 搜索引擎存在的问题及原因分析
• 1.3 课题设计目标
• 第二章 web 挖掘技术
• 2.1 web 挖掘技术的概述
• 2.1.1 概念
• 2.1.2 数据挖掘的主要任务
• 2.2 web 信息挖掘步骤
• 2.3 Web 挖掘的分类
• 2.3.1 Web 内容挖掘
• 2.3.2 Web 结构挖掘
• 2.3.3 Web 日志挖掘
• 2.4 Web 挖掘相关技术
• 2.5 网络信息挖掘的应用前景
• 第三章 信息检索
• 3.1 计算机检索常用检索算符
• 3.1.1 布尔逻辑算符
• 3.1.2 截词符
• 3.1.3 字段符
• 3.1.4 位置算符
• 3.2 检索策略
• 3.3 检索效果评价
• 第四章 搜索引擎的研究
• 4.1 搜索引擎的定义、检索机制
• 4.1.1 搜索引擎的定义
• 4.1.2 搜索引擎的检索机制
• 4.2 搜索引擎的分类
• 4.2.1 基于Robot 的搜索引擎
• 4.2.2 基于 Directory 的搜索引擎
• 4.2.3 元搜索引擎
• 4.3 搜索引擎的工作原理
• 4.4 搜索引擎工作机制
• 4.4.1 搜集器
• 4.4.2 分析器
• 4.4.3 索引器
• 4.4.4 检索器
• 4.4.5 用户接口
• 4.4.6 搜索引擎的查询过程
• 4.5 搜索引擎技术的发展趋势
• 4.6 搜索引擎的性能比较
• 4.6.1 三级指标体系的构成和权重
• 4.6.2 主要搜索引擎的实际评测结果
• 第五章 PageRank 算法分析及实现
• 5.1 PageRank 算法简介
• 5.2 PageRank 概念与算法简介
• 5.3 PageRank 值的计算方法
• 5.3.1 算法思想
• 5.3.2 数学实现
• 5.3.3 Jacobi 迭代算法
• 5.3.4 Jacobi 迭代算法的实现与测试
• 第六章 基于 Robot 的搜索引擎的设计
• 6.1 开发环境
• 6.2 系统设计
• 6.2.1 系统架构
• 6.2.2 系统工作原理
• 6.3 系统的实现
• 6.3.1 网络机器人的设计
• 6.3.2 WEB 文件中的文本内容提取
• 6.3.3 自动摘要的算法
• 6.3.4 全文检索部分的设计
• 6.3.5 基于Robot 搜索引擎接口的设计
• 6.3.6 排名策略
• 6.3.7 网页排名得分计算
• 6.3.8 搜索引擎的接口规范
• 6.4 系统测试
• 6.5 结论
• 6.6 进一步的研究
• 第七章 总结
• 致谢
• 参考文献