特定领域的Deep Web查询集成及结果抽取

论文摘要

网络信息过载,个人从中获取特定需求的信息必须借助于搜索引擎的导航。目前通用搜索引擎,如baidu,google能满足用户对任意领域的基本查询需求,但难以适应特定用户群体对专业领域信息的提取需求。因而,专业搜索引擎应运而生,如电信黄页查询系统,学术论文查询系统。本文初探对多个学术论文数据库源,如何对深度数据库的信息进行提取和整合。即如何提供给科技工作者一个覆盖多个学术数据库源的统一接口,也就是学术资源整合系统。各个学术数据库源是以Web的形式为用户提供访问服务的,并且用户所感兴趣的文献资料,是通过在查询接口输入兴趣查询关键字,并在向学术数据库源提交查询请求后,由资源服务器动态产生的。此过程Web用户和学术资源服务器是有动态交互的,访问到的结果Web页面也是动态生成的,其与用户输入的查询关键字紧密相关,我们称之为Deep Web,用户在结果Web页面上看到的内容是在学术资源数据库中与查询关键字相关的一个子集。为了整合复旦图书馆数字化论文资源,来为教授提供个性化推荐服务,使用sniffer监听网络信息,来模拟IE的浏览行为,实现了针对Cnki,,ISI,Metalib三个数据源的Deep WebCrawler,并据此基础上研究了通用Deep Web Crawler的系统框架和功能模块。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究背景
• 1.1.1 Deep Web概述
• 1.1.2 Deep web在教育科研领域
• 1.2 本文工作
• 1.2.1 研究要点
• 1.2.2 本文结构
• 第2章 Deep Web的交互过程
• 2.1 引言
• 2.2 Surface Web,Deep Web简介
• 2.2.1 Surface Web,Deep Web交互过程区别
• 2.2.2 Deep Web若干问题
• 2.3 查询接口
• 2.3.1 接口特征定义
• 2.3.2 接口查询能力抽取与集成
• 2.3.3 SessionID
• 2.4 查询条件的转换,提交
• 2.4.1 条件转换
• 2.4.2 UTF-8,GB-2312编码格式转换
• 2.4.3 查询提交
• 2.4.4 翻页
• 2.5 结果页面
• 2.5.1 基于"文献实体属性描述关键字数据库"的结果页面模式抽取
• 2.5.2 结果页面模式匹配,数据合成
• 2.5.3 结果去重
• 第3章 查询集成
• 3.1 引言
• 3.2 查询接口发现
• 3.2.1 接口特征规则定义
• 3.2.2 基于"提交post字符串内容,查询关键字"反向取得
• 3.2.3 基于"文献实体属性描述关键字数据库,分类属性"正向取得
• 3.3 接口查询能力抽取与集成
• 3.3.1 三个数据源接口查询能力抽取与集成
• 3.3.1.1 抽取各查询接口的查询能力
• 3.3.1.2 实现接口模式匹配
• 3.3.1.3 生成统一查询界面
• 3.4 SessionID
• 3.4.1 SessionID简介
• 3.4.2 三个数据源SessionID机制
• 3.4.2.1 CNKI
• 3.4.2.2 ISI
• 3.4.2.3 Metalib
• 3.5 个性化推荐系统中的实现
• 3.5.1 查询集成
• 第4章 查询
• 4.1 引言
• 4.2 条件转换
• 4.3 UTF-8,GB-2312编码格式转换
• 4.4 查询提交
• 4.4.1 查询代价
• 4.4.2 查询代价优化
• 4.4.2.1 从文献详细页面中提取下篇文献详细页面URL,避免翻页
• 4.4.2.2 附加查询条件,增量方式下载数据
• 4.4.3 查询结果页面总数/文献总数的统计信息
• 4.5 个性化推荐系统中的实现
• 4.5.1 HTTP响应
• 4.5.1.1 HTTP请求
• 4.5.1.2 HTTP响应
• 4.5.1.3 基于HTTP协议的Get/Post实现函数
• 第5章 结果页面内容抽取
• 5.1 引言
• 5.2 基于"文献实体属性描述关键字数据库"的结果页面模式抽取
• 5.2.1 本文的方法
• 5.2.2 当前方法的缺点
• 5.2.3 "文献实体属性描述关键字数据库"的构建和使用
• 5.3 结果页面模式匹配,数据合成
• 5.4 个性化推荐系统中的实现
• 第6章 个性化推荐系统中的Deep Web集成
• 6.1 引言
• 6.2 相关概念
• 6.2.1 Surface Web,Deep Web
• 6.2.2 Deep Web集成
• 6.2.2.1 用户访问Deep Web的过程
• 6.2.2.2 含Deep Web集成的个性化推荐系统的系统框架
• 6.2.2.3 Deep Web集成的形式化定义
• 6.3 Deep Web集成
• 6.3.1 总体框架
• 6.3.2 功能模块
• 6.3.2.1 知识发现
• 6.3.2.2 集成查询
• 6.5 结论
• 第7章 总结与展望
• 7.1 总结
• 7.2 展望
• 参考文献
• 硕士研究生期间项目和论文
• 致谢