校园网中课件资源的爬取与检索

论文摘要

伴随着人类科技的不断的进步,互联网已经成为人们获取信息增强联系的一个极为重要的方面。在信息增长速度惊人的今天,怎样从如此巨大的信息量中能够快速准确的获取我们需要的信息,于是互联网搜索引擎就作为行之有效的信息检索工具,切合人们的需要而诞生,而web搜索引擎技术,也成为计算机科学界和信息产业界一个热点。在校园网的建设中,出于教学的需要,同时也是校园网特色的体现,对于网络上优秀课件的检索可以更好的为老师和学生提供教学和学习上的方便。课件是根据教学大纲的要求,经过教学目标确定,教学内容和任务分析,教学活动结构及界面设计等环节,而加以制作的课程软件。它与课程内容有着直接联系。现在应用最广泛的多媒体课件形式是PPT,除此之外还有以DOC,PDF等格式保存在网络之中的课件,传统的搜索在信息获取的准确度和内容分析等方面存在着较为明显的缺陷,所以,如何更全面、更准确地获取网络之中的课件已经成为现在搜索领域的一个新课题新方向,也充满了挑战和机遇。作为一个比较新兴的方向,同时也存在着很多的实际问题,比如在网络上课件在保存的形式以及保存格式上的不统一不规范,分类的不明确等等。本文将实现一个在校园网内的对课件进行定向爬取,有着良好的结构化索引,并具有较高的检索准确率的课件检索系统,从而满足校园网搜索引擎的需要。本文在研究Web搜索引擎的基本原理、核心技术和处理流程的基础上,结合对校园网课件搜索引擎具体需求的分析,搭建了山东大学校园网课件搜索引擎系统。本文详细说明了该课件搜索引擎系统的开发过程和方法,并对搜索引擎的内部软件组织和数据结构、数据存储方法等内容都进行研究、分析和设计。本文还介绍了插件机制,在网络爬虫方面,利用到了定向的页面爬取,通过对爬取到课件相关网页进行信息的抽取建立多field的信息索引,从而用户可以通过多条件结构化查询方式来检索,并通过合适的相关性算法以及网页重要度的计算方法,计算出网页重要度,以对检索结果进行排序。借助了JAvA的索引软件包lucene作为底层来实现,利用eclipse来完成这一系统。

论文目录

• 摘要
• ABSTRACT
• 第1章 绪论
• 1.1 系统开发背景
• 1.2 国内外搜索引擎以及课件搜索引擎发展现状
• 1.2.1 搜索引擎的发展阶段
• 1.2.2 搜索引擎的分类
• 1.2.3 主流搜索引擎简介
• 1.2.4 课件搜索引擎简介
• 1.3 本文的主要工作
• 1.4 本文的组织结构
• 第2章 课件搜索引擎系统需求分析与架构设计
• 2.1 需求分析
• 2.1.1 课件搜索引擎系统简介
• 2.1.2 课件搜索引擎面向的用户
• 2.1.3 课件搜索引擎面向用户的功能性需求
• 2.1.4 课件搜索引擎非功能性需求
• 2.1.5 课件搜索引擎基本功能
• 2.1.6 课件搜索引擎基本技术
• 2.2 课件搜索引擎系统设计目标和原则
• 2.3 开发环境
• 2.4 系统功能架构设计
• 2.4.1 课件搜索引擎总体功能架构
• 2.4.2 课件搜索引擎爬取设计
• 2.4.3 课件搜索引擎中基于Eclipse的插件扩展
• 2.4.4 课件搜索引擎的索引和检索技术
• 2.4.4.1 课件搜索系统中采取的索引技术
• 2.4.4.2 检索技术
• 2.4.5 lucene中数据流简要分析
• 第3章 系统详细设计
• 3.1 课件搜索引擎爬取模块设计
• 3.2 课件搜索引擎系统解析模块设计
• 3.2.1 网页去噪
• 3.2.2 消重
• 3.2.3 课件搜索引擎中页面重要度计算
• 3.3 文档解析
• 3.4 课件搜索引擎中索引模块和检索模块的详细设计
• 3.4.1 课件搜索引擎中索引模块的设计
• 3.4.2 对于课件搜索引擎中检索模块设计
• 3.5 课件搜索引擎中插件的设计理念
• 3.5.1 类装载策略
• 3.5.2 定义扩展点以及类图
• 第4章 系统实现
• 4.1 系统功能实现
• 4.2 robot协议
• 4.3 系统测试结果与分析
• 第5章 结论
• 参考文献
• 致谢
• 学位论文评阅及答辩情况表