网络信息雷达系统的研究与设计

论文摘要

随着网络信息的迅猛发展,网络信息的搜索已经成为人们获取有用信息的常用手段。传统搜索引擎关注全网内容的采集和搜索,不适用于专业学科领域。本文分析和研究了传统搜索引擎的优缺点,设计了适应于专业学科领域的搜索要求搜索模型——“网络信息雷达”。网络信息雷达是搜索引擎的一种,是对传统搜索的补充和扩充。网络信息雷达提供了信息从采集、分类、保存、加工、检索、统计到个性化服务的一套完整解决方案。信息雷达系统由信息采集和监控、信息分析和标引、自动分类、数据组织、信息检索、信息加工与发布、信息挖掘与服务、用户权限分级等模块构成,各模块之间相对独立又相互关联。文章结合搜索技术详细分析了系统的整体结构和核心的算法,同时结合java语言编程实现了系统的关键功能模块,最后对网络信息雷达的发展方向提出了自己的设想。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景及课题来源
• 1.1.1 研究背景
• 1.1.2 课题来源
• 1.2 课题研究的相关技术及研究现状
• 1.3 课题研究的主要内容及成果
• 1.4 论文的编写及组织
• 第二章 搜索引擎技术概述
• 2.1 搜索引擎概述
• 2.2 常见搜索技术及分类
• 2.3 搜索技术发展方向
• 2.4 传统搜索在专业领域面临的问题
• 2.5 小结
• 第三章 网络信息雷达结构设计
• 3.1 网络信息雷达
• 3.1.1 什么是网络信息雷达
• 3.1.2 网络信息雷达与传统搜索对比
• 3.1.3 网络信息雷达的性能指标
• 3.2 信息雷达的系统结构
• 3.2.1 传统搜索引擎结构
• 3.2.2 信息雷达设计目标
• 3.2.3 设计原则
• 3.2.4 系统结构
• 3.3 信息监控与采集
• 3.3.1 网站信息内容监控
• 3.3.2 网站信息采集
• 3.4 信息分析和处理
• 3.4.1 信息的分析和标引
• 3.4.2 信息的分类
• 3.4.3 信息的组织和存储
• 3.5 信息发布与检索
• 3.5.1 用户接口
• 3.5.2 信息检索
• 3.5.3 搜索结果处理
• 3.6 信息挖掘与服务
• 3.7 系统完整设计结构
• 3.8 小结
• 第四章 网络信息雷达核心算法研究
• 4.1 网页解析
• 4.1.1 HTML 语言结构
• 4.1.2 HTML 解析方法
• 4.1.3 HTML 内容提取
• 4.1.4 XML 内容的提取
• 4.2 自动分类算法
• 4.2.1 简单向量距离分类法
• 4.2.2 贝叶斯算法
• 4.2.3 KNN（K 最近邻居）算法
• 4.2.4 支撑向量机（SVM）算法
• 4.3 网页排序算法
• 4.3.1 网页级别
• 4.3.2 PageRank 算法研究
• 4.3.3 其他算法
• 4.4 中文分词算法
• 4.4.1 亚洲语言的的切分词问题（Word Segment）
• 4.4.2 常见分词算法
• 4.5 小结
• 第五章 信息雷达系统的实现
• 5.1 程序编写环境
• 5.1.1 JAVA 语言
• 5.1.2 开发工具——Eclipse
• 5.1.3 WEB 服务——TOMCAT
• 5.2 网络蜘蛛的实现
• 5.2.1 网络蜘蛛程序
• 5.2.2 构造Spider 类
• 5.2.3 处理和补全URL
• 5.2.4 预防循环链路
• 5.2.5 深度优先
• 5.3 HTML 内容分析和提取
• 5.3.1 通过网络获取HTML 内容
• 5.3.2 分析和提取HTML 内容
• 5.3.3 Java 中使用正则表达式
• 5.4 基于lucene 创建索引
• 5.4.1 什么是lucene
• 5.4.2 lucene 和其他全文检索对比
• 5.4.3 用lucene 创建索引
• 5.5 使用Nutch 检索
• 5.5.1 什么是Nutch
• 5.5.2 使用Nutch 实现搜索
• 5.6 项目实现
• 5.7 小结
• 结束语
• 致谢
• 参考文献表
• 作者在学期间取得的学术成果