基于数据挖掘的信息过滤系统的设计与实现

论文摘要

互联网Internet的高速发展,已经使其成为覆盖范围最广、规模最大的信息网络。但是,在网络时代,人们在充分享受信息共享所带来的便利的同时,也不可避免的受到了“垃圾信息”、“有毒信息”的困扰,如何帮助人们在面对庞大的数据海洋时能够去其糟粕、取其精华,成为网络研究领域的一个重要问题。本文所设计的信息过滤系统,主要针对的是网络上的主机所接收到的Web数据,主要的研究工作如下:1.对现有的信息过滤技术进行了探讨分析。本文首先阐述了信息过滤技术的发展历程以及研究现状,介绍了其中主要的关键技术。分析了目前各种信息过滤模型所存在的不足,如过滤准确率差、处理速度慢、灵活性差等。2.对信息过滤系统的样本库提出了优化方案。对于一个信息过滤系统,组织一个完整、可靠、准确的信息样本库上其主要任务之一。因此,本文提出,使用数据挖掘中的聚类分析方法,对样本库进行自动组织、自动分类,减轻系统管理负担,提高运行效率。3.对信息过滤系统的文本归类过程进行了优化。信息过滤的最终目的是确定源信息的性质,以决定是否将其拦截。因此,过滤系统的另一个核心任务就是对比源信息与信息样本。本文提出,将对比过程划分为两个阶段,即确定主题阶段和确定性质阶段。收到源信息后,首先采用数据挖掘中的贝叶斯分类方法确定其主题,然后采用KNN文本分类方法确定其性质。通过这种策略,分阶段的处理收到的源信息,提高系统准确性和灵活性。4.建立基于数据挖掘技术的信息过滤系统框架并进行了设计和实现。以数据挖掘技术和网络信息处理的相关核心技术为基础,提出一种分层次、分策略的网络信息过滤系统框架,给出了该框架的结构。当前,对网络数据的过滤主要是针对web、网络寻呼机等网络应用。因此,本文设计了一种在传输层和应用层分别进行信息过滤的方案,并采用诸如WinsockSPI等相关技术进行了实现。实验表明,该系统能够根据用户的策略,在指定范围或级别下有效的过滤主机所接收到的网络信息。在正确性、可靠性以及过滤效率等方面,有着良好的表

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 信息过滤系统的研究现状与发展趋势
• 1.2.1 信息过滤系统的研究现状
• 1.2.2 信息过滤系统的发展趋势
• 1.3 本文的主要内容及工作
• 第二章 信息过滤技术
• 2.1 信息过滤系统概述
• 2.1.1 信息过滤中的核心技术
• 2.1.2 信息过滤中存在的问题
• 2.2 网络信息过滤的关键技术
• 2.2.1 基于spi 技术的传输层过滤
• 2.2.2 基于应用层的内容过滤
• 2.3 文本信息处理技术
• 2.3.1 文本表示模型
• 2.3.2 文本特征的提取
• 2.3.3 KNN 分类算法
• 第三章 基于数据挖掘技术的信息过滤模型
• 3.1 数据挖掘概述
• 3.1.1 数据挖掘的模式
• 3.1.2 数据挖掘的主要技术和方法
• 3.2 数据挖掘与信息过滤
• 3.2.1 聚类分析技术在样本库优化中的应用
• 3.2.2 数据挖掘中的分类技术的应用
• 第四章 构建多主题的、分层的信息过滤平台
• 4.1 多主题的、分层的智能过滤策略
• 4.1.1 设计思想
• 4.1.2 主要内容
• 4.2 系统实现
• 4.2.1 主要系统模块
• 4.2.2 系统运行流程
• 4.2.3 系统实现
• 4.2.4 主要界面
• 4.3 运行结果及分析
• 第五章 结束语
• 5.1 本文的主要工作
• 5.2 下一步的研究方向
• 参考文献
• 发表及录用的论文
• 致谢