基于web文献的数据挖掘研究应用

论文摘要

随着高等教育的大众化,高校人数由过去的几十万上升到几百万,国家也会提供大量的资金资助大量科研项目,每年都会有数以万计的文献产生。由于Web文献的大量累积,人们很难从海量的文献数据中寻找到有用的信息,也就起不到提高工作效率的作用。本文的主要目的就是利用数据挖掘技术从大量的文献数据中找到有用的信息,以便进一步的指导工作。为了选择适合大量文献数据的数据挖掘算法,本文首先对数据挖掘的理论知识做了简要的介绍,给出了文本相似度计算的一般流程和公式,对几种聚类算法进了分析比较,发现一些不足的地方。根据聚类效果的评估原则和增量聚类算法的思想,设计了一个基于内聚度的增量聚类算法,弥补了上面几种算法的不足,然后通过相关实验对该聚类算法的参数进行了优选。查阅相关文献和分析PaperPass软件的检测结果,得出了一个计算文献相似度的计算方法,以便对文献抄袭现象进行检查。根据采用空间向量计算文本相似度的方式,改进了计算相似度的算法。为了获取大量的Web文献数据,本文研究了爬虫的相关知识,设计并实现了一个文献聚集爬虫。本文为了应用上面的算法和为用户提供可操作的平台,设计了一个基于Web文献的数据挖掘系统。本文对该系统的目标和特点进行了分析,选择了相关的技术路线,完成了系统架构、功能及主要模块的划分与设计,设计了系统数据库。最后,给出了系统的运行部署方法和相关功能的演示。

论文目录

• 摘要
• Abstract
• 目录
• 第1章 绪论
• 1.1 课题研究的意义
• 1.2 国内外研究现状
• 1.3 本文的研究内容和组织结构
• 第2章 理论基础和相关技术
• 2.1 网络爬虫
• 2.1.1 网络爬虫的工作原理
• 2.1.2 网络爬虫及其局限性
• 2.2 数据挖掘
• 2.2.1 数据挖掘的定义
• 2.2.2 数据挖掘的过程
• 2.2.3 文本数据挖掘
• 2.2.4 数据挖掘在文献分析中的应用
• 2.3 本章小结
• 第3章 文献数据挖掘相关算法分析研究
• 3.1 文本相似度计算
• 3.2 基于内聚度的增量聚类算法研究
• 3.2.1 几种聚类算法的分析比较
• 3.2.2 基于内聚度的增量聚类算法设计
• 3.2.3 聚类算法参数的优选与评估
• 3.3 文献相似度检测算法设计
• 3.4 本章小结
• 第4章 文献数据挖掘系统的总体设计
• 4.1 系统的目标与特点
• 4.1.1 系统的目标
• 4.1.2 系统的特点
• 4.2 技术路线与设计方案
• 4.2.1 技术路线
• 4.2.2 系统功能设计与模块划分
• 4.2.3 系统架构设计
• 4.3 数据库及接口设计
• 4.3.1 数据库设计
• 4.3.2 数据库访问通用接口设计
• 4.4 本章小结
• 第5章 系统主要模块的设计与实现
• 5.1 开发环境与工具
• 5.2 爬虫模块的设计与实现
• 5.2.1 模块结构设计
• 5.2.2 模块编码实现
• 5.3 数据挖掘模块的设计与实现
• 5.3.1 模块结构设计
• 5.3.2 模块编码实现
• 5.4 系统的运行部署和功能演示
• 5.4.1 运行部署
• 5.4.2 功能演示
• 5.5 本章小结
• 结论与展望
• 致谢
• 参考文献
• 攻读硕士学位期间发表的论文