基于Deep Web的图书信息集成与查询系统

论文摘要

该系统是使用在手机上的图书搜索系统,通过搜索,可以为用户提供基本的图书信息查询,并将查询结果显示在手机屏幕上,方便手机用户查阅。在本文中,笔者提供了一种基于Deep Web(深网)技术的网络爬虫以实现对特定主题的网络信息的收集、整合,该爬虫被设计成一个基于JAVA语言的多线程的多级队列爬虫,在这个队列中采用HTMLParser工具和正则表达式技术对抓取的URL进行处理和存储。在URL队列的设计上引入了Berkeley DB,实现了队列的高效存取,并将抓取到的数据存入MySql数据库。笔者采用基于Lucene技术对处理后的信息建立索引,在成功收集资源并建立索引后,笔者基于软件Android,当今最重要的手机开发平台建立了一个搜索界面,以方便用户使用手机通过Web搜索到与特定主题相关的资源。该系统可以为手机使用者提供方便快捷的信息服务,用户可以随时获取所查询的图书的各类信息,为用户带来了便利。

论文目录

• 摘要
• Abstract
• 第1章 绪论
• 1.1 研究背景
• 1.2 研究意义
• 1.3 论文主要研究内容
• 1.4 论文结构
• 第2章 相关理论基础知识
• 2.1 Deep Web 介绍
• 2.2 Html 解析库-HTMLParser
• 2.2.1 Parser 类
• 2.2.2 Node 节点
• 2.2.3 访问结果内容
• 2.3 主题爬虫
• 2.4 信息检索与全文检索引擎 Lucene
• 2.4.1 信息检索简介
• 2.4.2 Lucene 技术简介
• 2.4.3 Lucene 的使用
• 2.5 Android 平台
• 2.5.1 Android 的历史
• 2.5.2 Android 平台的五大优势特色
• 2.5.3 Android 应用程序框架
• 第3章 基于主题爬虫的搜索引擎的设计与实现
• 3.1 整体设计
• 3.2 爬虫队列的设计
• 3.3 过滤器设计
• 3.4 抽取器的设计
• 3.5 数据库设计
• 3.6 索引设计
• 3.7 用户界面设计
• 3.8 整体实现
• 3.9 数据访问层的实现
• 3.9.1 Berkeley DB 的访问
• 3.9.2 MySql 数据库的访问
• 3.10 业务逻辑层的实现
• 3.10.1 基础类包
• 3.10.2 工具类包
• 3.10.3 队列的实现
• 3.10.4 建立抽取器
• 3.10.5 索引的建立
• 3.11 表现层的实现
• 3.11.1 搜索模块
• 3.11.2 查询结果模块
• 3.11.3 详细信息显示模块
• 第4章 基于Android 平台的图书信息搜索系统的设计与实现
• 4.1 系统分析与总体设计
• 4.1.1 系统功能描述
• 4.1.2 系统功能模块划分
• 4.2 本地数据库设计与实现
• 4.3 系统的主界面
• 4.4 图书信息管理模块的实现
• 4.5 查询及显示结果模块的实现
• 4.6 显示查询结果
• 第5章 总结与展望
• 5.1 工作总结
• 5.2 今后的研究工作
• 参考文献
• 攻读硕士学位期间公开发表的论文
• 致谢