使用JDM技术进行Web数据挖掘及其在电子政务中的应用

论文摘要

由新疆理化所西北星信息技术有限公司所开发的电子政务网上办公平台和政府信息发布门户网站经研发和部署,已在各级政府部门投入使用,使用效果普遍反应良好。而随着电子政务平台和信息发布系统的深入应用,客户也随之提出了新的应用需求:如果能够根据用户的访问兴趣来进行个性化推荐,必定将会更加有针对性的满足用户的需求。网络挖掘技术是实现Web个性化推荐最行之有效的技术手段之一。通过对用户访问信息进行网络使用挖掘,可以有效的实现政府信息门户网站的个性化推荐。本文对网络数据挖掘进行了研究,研究表明网络数据挖掘在政府信息门户网站的个性化推荐中具有重要意义。在收集资料后分析了Web数据在客户端、代理端及服务器端获取的优劣以及在数据收集方面的局限性,独创的给出了针对网络访问日志文件作为数据源的数据预处理方案,并详细介绍了服务器端Web数据到可使用挖掘数据的转换流程。该方案同时还对网页间拓扑结构及页面的访问时间进行相关分析,剔除了非用户兴趣的页面,提高了数据源的准确性。在具体实现层,应用JDM(java data mining)API技术作为主要实现手段,很大程度上提高了Web数据挖掘的可复用性和松耦合性,使其以应用模块的方式便捷的嵌入到电子政务平台里。长远来看,JDM作为新的数据挖掘应用接口,其深入推广不止限于本文所提到的‘兴趣度需求’关联分析,在其它角度,JDM数据挖掘仍有很大的应用空间。

论文目录

• 摘要
• Abstract
• 目录
• 第一章 引言
• 1.1 引言
• 1.2 电子政务的广泛使用和新需求的提出
• 1.3 Web数据挖掘在电子政务中的作用
• 1.4 本文背景
• 1.5 本文的主要工作
• 第二章 网络数据挖掘简介
• 2.1 数据挖掘及面向网络的数据挖掘的概述
• 2.2 Web数据挖掘与传统数据挖掘的差异
• 2.3 Web数据挖掘的过程
• 2.4 本章小结
• 第三章 网络信息提取与数据抽取
• 3.1 引言
• 3.2 数据预处理的基本任务
• 3.3 Web挖掘使用的数据预处理及其改进
• 3.3.1 Web使用挖掘的数据源分析
• 3.3.2 服务器端的数据源存在的主要问题
• 3.3.3 问题的解决方法介绍
• 3.3.4 解决方案在政府信息门户网站中的应用
• 3.4 信息抽取-服务器日志文件具体转换为可挖掘数据的工作流程
• 3.4.1 日志文件分析
• 3.4.2 日志文件转换为数据库文件工作流
• 3.5 本章小结
• 第四章 Web挖掘关联规则实现算法简介
• 4.1 关联规则发现的基本问题
• 4.1.1 关联规则的基本概念
• 4.1.2 关联规则挖掘的基本实现过程
• 4.2 关联规则典型算法分析
• 4.2.1 Apriori算法
• 4.2.2 Top Down FP-Growth算法
• 4.3 关联规则挖掘在政府信息门户网站中的应用
• 4.3.1 个性化推荐所需要考虑的因素
• 4.3.2 关联规则集的生成
• 4.3.3 推荐页面的加权
• 4.4 本章小结
• 第五章 使用JDM实现政府网站关联规则的知识发现
• 5.1 前言
• 5.2 使用JDM进行数据挖掘简介
• 5.2.1 DM（数据挖掘）行业现状的简介
• 5.2.2 JDM API标准发展简介
• 5.2.3 把数据转化为知识
• 5.3 JDM Model（数据挖掘模型）建立步骤及相关类分析
• 5.3.1 JDM数据挖掘模块在整个电子政务体系结构中的位置
• 5.3.2 数据挖掘实现类分析
• 5.4 使用JDM api对关联模式建模的关键代码分析
• 5.5 本章小结
• 第六章 结束语
• 6.1 本文总结
• 6.2 进一步的工作
• 致谢
• 参考文献
• 发表论文