Web数据挖掘技术在网络教育论坛中的应用研究

论文摘要

随着互联网的飞速发展,网络教育论坛逐渐成为一种教育资源平台并得到充实壮大,成为人们尤其是教师和学生日常交流、研究、学习中不可或缺的要素。网络教育论坛尤其是与专业方向密切相关的论坛上有大量交流思想、探讨学习和专业研究的帖子,这些帖子本身就是极好的教育资源,论坛对某个话题的深入广泛的讨论会使其成为热点话题而受到广泛关注。因帖子的数量庞大,手工统计分析网页上帖子已不能满足应用要求。Web数据挖掘技术的发展,使深入研究和分析教育论坛的帖子内容成为可能,为研究者提供了强大的技术支撑。利用Web数据挖掘技术研究教育论坛中有关专业研究学习方面的热点话题,并把研究结果反馈于教育教学活动,是对变革教育方式积极有益的探索,对加快教育现代化进程具有重要意义。文章主要利用Web数据挖掘技术对网络教育论坛上的内容展开研究。以北大中文论坛的中文信息处理版块为研究对象,挖掘论坛中的热点话题和话题领袖,从而对课堂教育教学提供补充和扩展,加快教育方式变革。文章主要完成了以下工作:（1）获取网页文本数据是Web数据挖掘的第一步,本研究实现了利用网络爬虫程序下载网页,使用DOM树和正则表达式解析网页以获得所需要的正文内容。在进行大规模网页采集、抽取时,对采集到的数据进行清理、筛选、转换,并将结果存入本地数据库中。（2）实现并改进正向最大匹配中文分词算法,使分词的粒度较大,便于划分出一些学科的专有名词。研究设计的中文分词词典能很好地支持本算法的实现。（3）编程实现了经典的K-means聚类挖掘算法。通过对论坛网页的聚类分析发现网络教育论坛中讨论的热点话题,通过判断和分析热点话题,就可把握话题的发展方向,了解教育论坛中人们研究、学习的主要方面,以此辅助教学。（4）根据挖掘结果,有针对性地关注热点话题、关注话题领袖引领的话题可以解决在专业方面反映突出的问题,进而可以利用好课堂内外两个平台。课堂教学是教育教学工作的重要部分,而通过网络教育论坛解决学生学习中遇到的问题是对教育方式变革积极有益的探索。

论文目录

• 中文摘要
• Abstract
• 1 引言
• 1.1 研究目的和意义
• 1.1.1 研究目的
• 1.1.2 研究意义
• 1.2 研究对象的选取
• 1.3 网络教育论坛的研究现状
• 1.4 研究思路
• 1.5 本文的组织安排
• 1.6 本章小结
• 2 网络教育论坛分析的理论与方法
• 2.1 网络内容分析理论
• 2.2 人本主义学习理论
• 2.3 知识管理理论
• 2.4 统计分析法
• 2.5 本章小结
• 3 Web 数据挖掘的基本过程
• 3.1 Web 数据挖掘概述
• 3.1.1 Web 数据挖掘分类
• 3.1.2 网络教育论坛相关术语
• 3.2 Web 数据挖掘中的数据采集及预处理
• 3.2.1 Web 数据采集
• 3.2.2 Web 数据预处理
• 3.3 挖掘热点话题
• 3.3.1 网络热点话题的定义
• 3.3.2 文本聚类
• 3.3.3 k-平均值（k-means）聚类算法
• 3.4 本章小结
• 4 本研究对关键技术的改进
• 4.1 改进的Web 文本特征提取方法
• 4.2 改进的中文分词算法
• 4.3 本章小结
• 5 网络教育论坛的 Web 数据挖掘应用与分析
• 5.1 爬取网页及抽取数据
• 5.2 k-平均值算法挖掘应用及分析
• 5.2.1 对帖子主题的k-平均值聚类挖掘及分析
• 5.2.2 对发帖人的分析
• 5.3 挖掘结果对课堂教学的指导
• 5.4 本章小结
• 总结与展望
• 参考文献
• 在读期间发表的论文
• 后记