网络搜索引擎的相关技术研究

网络搜索引擎的相关技术研究

论文摘要

网络搜索引擎(如google、百度等)作为一种特殊的信息检索系统,其特殊之处就在于它的检索范围是针对整个Web网页资源的。互联网上的信息资源数量巨大、并且处于不断地变化更新当中,最为重要的是Web网页文档本身是半结构化或无结构的,其中经常包含导航、广告信息、无用链接等与网页主题无关的内容,其复杂程度远高于普通的文本文档。而一般的信息检索系统(如文献检索系统)大部分都是基于空间向量模型而设计的,无法适应Web资源的以上特性,这就使得网络搜索引擎与基于空间向量模型的信息检索系统在工作原理上会出现很大的不同。本文着重从索引建立、查询扩展、相关网页排序三个方面来阐述它们的不同之处。本文的主要内容是:详细介绍了网络搜索引擎索引组织结构,并针对Web网页中包含有大量无关信息如广告、导航等影响索引的效率的问题,给出了网页预处理及文本提取的实现算法,去除了Web网页文档中的重复网页、噪音内容以及噪音链接,提高了搜索引擎的索引效率。本文提出了结合用户兴趣和服务器端日志发掘的相关搜索的实现算法。针对传统PageRank算法会出现“主题漂移”现象,带来许多与用户所需信息无关的噪声信息的缺点,本文提出了基于页面主题相关性的PageRank算法,从网页的超链接、网页内容以及用户点击行为三个方面判断网页文档与查询主题相关性,进而避免出现过多的与检索主题不相关的网页信息。最后本文提出了一种自动摘要的实现算法,通过计算网页文档中每个句子的权重值,得到最能表达该网页主题内容的句子作为摘要反馈给用户,方便用户直观、快速地获取网页文档的主题内容,从而不断改进搜索关键词,检索出所需要的网页信息。

论文目录

  • 摘要
  • ABSTRACT
  • 1 引言
  • 1.1 课题背景
  • 1.2 研究内容
  • 1.3 组织结构
  • 2 搜索引擎相关简介
  • 2.1 信息检索的定义
  • 2.2 信息检索性能评价
  • 2.3 搜索引擎的定义及分类
  • 2.4 网络搜索引擎的结构及工作原理
  • 2.5 网络搜索引擎的发展趋势
  • 3 网络搜索引擎的索引分析
  • 3.1 信息检索模型
  • 3.2 索引的组织结构
  • 3.3 中文分词
  • 3.4 网络搜索引擎的索引过程
  • 3.5 网页预处理及文本提取的实现
  • 4 网络搜索引擎的查询扩展
  • 4.1 查询扩展相关技术简介
  • 4.2 网络搜索引擎的查询扩展
  • 4.3 网络搜索引擎相关搜索的实现
  • 5 网络搜索引擎的排序算法
  • 5.1 基于Web页面链接的排序算法
  • 5.2 PageRank算法不足
  • 5.3 基于页面主题相关性的PageRank的算法设计
  • 5.4 自动摘要算法设计
  • 6 总结和展望
  • 致谢
  • 攻读硕士学位期间发表的学术论文
  • 参考文献
  • 相关论文文献

    • [1].网络搜索引擎的多维治安问题及治理对策研究[J]. 邢台学院学报 2018(04)
    • [2].网络搜索引擎技术在公安工作的应用[J]. 电子技术与软件工程 2017(09)
    • [3].浅析网络搜索引擎[J]. 信息通信 2014(11)
    • [4].质检高地锻铸大城工业梦[J]. 今日重庆 2017(06)
    • [5].网络搜索引擎[J]. 科学24小时 2015(Z1)
    • [6].基于RFID技术的网络搜索引擎自适应优化[J]. 现代电子技术 2020(19)
    • [7].网络搜索引擎的未来[J]. 语文新圃 2009(02)
    • [8].浅析近年来网络搜索引擎研究现状——以2001至2010年为例[J]. 情报科学 2012(08)
    • [9].如何用好网络搜索引擎[J]. 人民公安 2011(21)
    • [10].网络搜索引擎在科技查新中的应用[J]. 情报杂志 2011(S2)
    • [11].浅议网络搜索引擎的发展趋势[J]. 内蒙古科技与经济 2010(17)
    • [12].网络搜索引擎研究概述[J]. 农业图书情报学刊 2008(03)
    • [13].网络搜索引擎的原理、技术和发展[J]. 电脑与电信 2008(05)
    • [14].浅谈网络搜索引擎的应用[J]. 信息通信 2013(01)
    • [15].浅析现代网络搜索引擎技术[J]. 科技风 2012(23)
    • [16].试论网络搜索引擎在大学生网络思想政治教育中的作用[J]. 电子科技大学学报(社科版) 2014(01)
    • [17].网络搜索引擎对提高大学生信息素养的作用[J]. 合作经济与科技 2013(07)
    • [18].用网络搜索引擎技术助力公安工作[J]. 中国公共安全(学术版) 2011(01)
    • [19].论网络搜索引擎竞价排名的法律规制[J]. 经济研究导刊 2015(07)
    • [20].谈谈网络搜索引擎的发展及使用技巧[J]. 农业图书情报学刊 2009(06)
    • [21].算法定义的新型信息空间——基于网络搜索引擎特性的综合治理研究[J]. 学术论坛 2019(03)
    • [22].网络搜索引擎技术发展方向的分析研究[J]. 中国新技术新产品 2011(20)
    • [23].浅析网络搜索引擎[J]. 河南农业 2012(19)
    • [24].走进网络搜索引擎“google”[J]. 中国西部科技 2009(19)
    • [25].基于Sphinx的社交网络搜索引擎的设计与分析[J]. 科技通报 2014(02)
    • [26].Marvell推出开创性基于SRAM网络搜索引擎[J]. 世界电子元器件 2014(10)
    • [27].网络搜索引擎的现状及发展[J]. 科技情报开发与经济 2008(09)
    • [28].未来网络搜索引擎的探究[J]. 硅谷 2008(08)
    • [29].中文网络搜索引擎的探究[J]. 福建电脑 2016(10)
    • [30].Google把我们变傻了?[J]. 新东方英语(大学版) 2009(12)

    标签:;  ;  ;  ;  

    网络搜索引擎的相关技术研究
    下载Doc文档

    猜你喜欢