基于串匹配和文本分类的中文网页过滤系统设计

论文摘要

近年来随着互联网迅猛发展和日益普及,网络已经成为人们获取信息的主要来源之一。然而互联网上的信息良莠不齐,不良信息的泛滥给人们尤其是未成年人的身心健康带来了极大的危害。阻止和过滤掉互联网上的不良信息对保护青少年极其重要。网络上的大多数信息是以文字的形式存在,因此,对网页文本过滤进行研究,提供高准确率和实时的文本过滤越来越重要。系统采用URL(Uniform Resource Locator)过滤、字符串匹配过滤和文本分类过滤相结合的过滤方法。建立URL黑名单机制,对黑名单上的页面直接过滤。采用快速的字符串匹配技术对文章标题、超链接内容和文本前几段直接进行敏感词汇搜索,实现初次过滤。然后再利用文本分类技术进一步判定文本属性,过滤掉不良文本。并且将检测到的不良页面的URL信息反馈给黑名单,提高系统对其后页面的处理速度。在对IE浏览器体系结构进行分析的基础上,采用ActiveX控件和后台程序相结合的方法来实现过滤,其中ActiveX控件负责对IE浏览器的访问进行监控,将浏览信息传给后台程序,同时接受后台程序的命令,对浏览事件进行阻止或重定向;后台程序负责内容过滤的处理、数据库的查询和维护。最后,设计实现了一个基于IE浏览器的网页过滤系统原型。在自建词库和文本库基础上进行试验,结果表明总体识别率和处理速度上基本上能够满足不良信息过滤的要求。

论文目录

• 摘要
• Abstract
• 1 绪论
• 1.1 课题的研究背景意义
• 1.2 课题的国内外研究状况
• 1.3 论文的主要研究内容与论文结构
• 2 中文网页过滤的关键技术
• 2.1 字符串匹配技术
• 2.2 文本分类技术
• 2.3 IE 浏览器及ActiveX 控件
• 2.4 本章小结
• 3 系统总体设计
• 3.1 需求分析
• 3.2 总体设计
• 3.3 模块设计
• 3.4 本章小结
• 4 中文网页过滤原型系统的实现
• 4.1 基于IP/URL 的过滤模块
• 4.2 基于字符串匹配的过滤模块
• 4.3 基于文本分类的过滤模块
• 4.4 ActiveX 控件
• 4.5 本章小结
• 5 系统测试与分析
• 5.1 基于字符串匹配的过滤模块的测试与分析
• 5.2 基于文本分类的过滤模块测试与分析
• 5.3 系统总体测试
• 5.4 本章小结
• 6 总结与展望
• 6.1 总结
• 6.2 展望
• 致谢
• 参考文献