科技平台撮合系统的设计与实现

论文摘要

目前,人类社会已经进入了一个科研活动高速发展,科研成果频繁涌现的新时期。在这个时期,更快更好地将科研成果与企业需求对接,形成实际生产力成为一个十分迫切的需求。同时,科研活动和生产实践中,人们希望能够快速有效地联系咨询相关专家,共享使用科研仪器和设备的需求也越来越多。现有的科技平台只具备展示性功能,而不能帮助人们快速地完成这些需求。于是,本项目希望在现有科技平台的基础上,提供关键词搜索功能,从而帮助人们有效地定位专家、科研仪器以及科研成果信息。首先,提供针对科研平台内部信息的搜索功能。提取数据库中专家、科研仪器和成果的信息,将这些信息表示为一种标准格式,然后调用Lucene处理这些中间文档,建立索引。针对这些索引信息,提供了基于关键词的搜索算法,该算法将索引信息中含有指定关键词的记录表示成一定格式的中间结果。最后,使用JSP编写界面,系统可以在Internet上访问。当平台的内部信息不足以满足用户的需要的时候。系统的元搜索引擎将提供在Internet范围内的更大规模的搜索。元搜索引擎整合了多个不同搜索引擎的结果并统一显示给用户,大大提高了搜索的覆盖范围;只提取各个搜索引擎的前几页的结果,能有效提高查询结果的精度。同时,为了减少元搜索引擎查询过程中的网络开销,使用了多线程手段进行优化,并提供了缓存功能极大地减少了反应时间。系统实现了关键词搜索功能。最后,介绍了系统的具体的设计和实现。然后对系统的功能进行了测试和结果分析,搜索结果具有较好的准确率,能满足应用的需求。本文首先介绍了元搜素引擎的提出背景、发展历程、基本分类、优缺点以及实现方面的一些问题;总结了科技成果搜索方面的内容,具体包括项目的应用背景,相关工作,相关技术分析以及技术方案的论证。阐述了元搜索引擎系统的关键流程。主要介绍了网页源代码的获取与处理过程,结果集的缓存和查询代理模块的设计。分析程序运行信息,发现网络通信开销极大地降低了程序运行效率,针对此问题,采用多线程编程方法进行了优化,效果良好。总的来说,科技平台撮合系统运行稳定,查询操作的准确度和召回率都令人满意,达到了项目的所有要求,可以满足当前情况下用户对科技平台使用的要求。能有效促进当地科研活动的发展。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 项目背景
• 1.1.1 项目需求
• 1.1.2 项目要求
• 1.1.3 项目意义
• 1.2 国内外发展现状
• 1.3 本文结构
• 第2章 相关基础理论概述
• 2.1 相关技术简介
• 2.2 元搜索引擎
• 2.2.1 产生的背景与发展
• 2.2.2 工作原理
• 2.2.3 元搜索引擎分类
• 2.2.4 相关工作
• 2.2.5 主要技术分析
• 2.3 科技成果搜索系统
• 2.3.1 项目背景
• 2.3.2 需求定义
• 2.3.3 主要技术分析
• 第3章 元搜索引擎设计
• 3.1 网页源码获取及预处理
• 3.1.1 HTML 源码获取
• 3.1.2 网页预处理
• 3.1.3 网页解析与结果生成
• 3.2 结果生成
• 3.2.1 去除死链接
• 3.2.2 去除重复网页
• 3.2.3 结果集排序
• 3.3 应用程序查询代理
• 3.3.1 提出的背景与意义
• 3.3.2 程序流程
• 3.4 网络通信优化工作
• 3.4.1 效率分析
• 3.4.2 优化
• 3.4.3 结果分析
• 3.5 结果集缓存优化
• 3.5.1 效率分析
• 3.5.2 优化
• 3.5.3 结果分析
• 第4章 数据库搜索流程设计
• 4.1 建立索引
• 4.1.1 获取数据库记录
• 4.1.2 解析文本
• 4.1.3 建立索引文件
• 4.2 查询
• 4.2.1 查询格式化
• 4.2.2 查询算法
• 4.2.3 排序
• 4.3 分词器
• 4.3.1 分词器的作用
• 4.3.2 可选的技术
• 4.3.3 实现
• 第5章 系统设计与实现
• 5.1 元搜索引擎的设计与实现
• 5.1.1 系统总体设计
• 5.1.2 数据库设计
• 5.1.3 主要模块介绍
• 5.1.4 程序界面
• 5.2 数据库搜索的设计与实现
• 5.2.1 系统总体设计
• 5.2.2 数据库分析
• 5.2.3 主要模块介绍
• 5.2.4 程序界面
• 第6章 结语
• 致谢
• 参考文献