面向SNS的社会化标签的数据挖掘与程序框架设计

论文摘要

随着越来越多的人参于网络内容的编辑,“分众分类”法也逐渐成为网络资源分类的重要方法。本文主要研究“分众分类”法的优缺点,对其缺点之中的“模糊性”进行了针对性研究,在认真分析其产生原因与深入研究他人成果的基础之上,提出了自己的聚类改进方案,并设计了抓取和聚类程序；在框架设计过程中,将整个程序分成抓取数据、清洗数据、聚类、图形显示四个部分。通过VC++6.0与SQL2005平台的混合编程,实现了程序总体框架,并利用设计模式将四部分有机地结合在一起,做到了低耦合高内聚、易扩展和易维护。最后对其功能是否正确,数据库是否被正确地访问以及聚类结果是否合理进行了黑盒测试,分析了“基于语义的聚类方案”形成的簇集,对是否达到预期目的进行判断,并在多次改变聚类条件后,分析并找出影响形成不同簇集结果的原因。通过对“分众分类”法中标签进行研究,并通过聚类重新组合标签组形成簇集,即对大众分类进行二次专业分类形成新的标签组,降低了标签的“模糊性”,从而提高了网络用户查询时的“检全率”、“命中率”、“命准率”。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 研究背景
• 1.2 课题意义及国内外发展状况
• 1.2.1 研究意义
• 1.2.2 国内外研究概况
• 1.3 研究目标与主要内容
• 1.4 拟采取的研究方法、研究手段及技术路线
• 1.5 研究的预期目标
• 1.6 本文结构
• 第二章 框架与设计模式应用
• 2.1 系统结构的可复用设计解决方案
• 2.2 框架定义
• 2.2.1 框架的设计过程
• 2.2.2 框架的设计原则和特征
• 2.3 设计模式应用
• 2.4 设计模式的选取
• 第三章 系统应用框架设计
• 3.1 系统概述
• 3.2 系统层次划分
• 3.3 逻辑框架结构与设计模式方案选择
• 3.4 框架类结构图
• 第四章 爬虫程序设计与实现
• 4.1 爬虫程序简介
• 4.2 Flickr网页结构
• 4.3 数据抓取搜索策略
• 4.4 爬虫设计应该注意的问题
• 4.5 爬虫程序设计
• 4.5.1 爬虫程序结构
• 4.5.2 三个数据线程的配合
• 4.5.3 各线程逻辑关系
• 4.5.4 各线程活动图描述
• 第五章 算法设计与实现
• 5.1 数据挖掘概述
• 5.2 数据清理
• 5.3 挖掘算法选取
• 5.4 聚类算法描述
• 5.5 划分方法
• 5.5.1 划分方法描述
• 5.5.2 典型划分算法K中心点算法的改进
• 5.6 基于语义分析聚类算法的实现
• 第六章 平台与算法测试
• 6.1 测试概述
• 6.2 功能性与数据库测试
• 6.3 系统结构扩展性测试
• 6.4 聚类算法正确性测试
• 总结与展望
• 参考文献
• 附录
• 致谢