基于比对技术的非法网站探测系统的实现与研究

论文摘要

二十世纪九十年代出现的万维网(World Wide Web),将互联网上的信息资源以图形化的界面直观的显现出来,并且资源之间还可以通过链接相互访问,使我们访问网络信息资源变得异常简单。以至计算机网络已经深入到我们生活的各个领域,可以说是无处不在,如电子商务、电子银行、网络视频、网络游戏、网络办公等等。然而,随着Internet的快速发展,网络为人们提供了各种各样丰富多彩的服务同时,出于各种目的,一些非法分子利用网络为自己谋取利益。他们通过各种技术手段,抓住网络不易被追查的特点,逃避法律,建立了很多非法网站,非法的提供各类网络服务。事实表明,近年来随着Internet技术的飞速发展,网络入侵事件、网络诈骗事件、钓鱼网站、网络淫秽网站等非法网站日渐增多。所以网络安全问题已成为网络技术应用的焦点问题,构建一个安全、文明的网络环境已经成为社会各界十分关注和亟待解决的问题。本文以此为背景,结合云南省网络安全现状,探讨非法网站探测策略,为构建安全、文明的网络环境提供参考。本系统采取的不是在网络上监控数据流,对非法、有害的信息进行封堵和过滤这样的被动防御措施,而是采用主动的探测方法,直接发现在互联网上非法提供各类网络服务的网站,从源头上对这些网站进行监管,保证我国正常的网络环境秩序。通过对现有各种网站探测技术的工作原理、实现方法和技术特点的研究,特别是网络扫描技术、网络爬虫技术、网页快照技术三方面的分析和研究之后,本文提出了非法网站探测系统的设计方案,阐述了非法网站探测系统各功能模块的设计思想和实现方法,编写了IP扫描器、网络爬行器、快照抓取器三个功能模块程序。在系统设计过程中采用了多线程技术和插件技术,提高了系统执行效率,增强了系统的可扩展性。最后对各模块进行了功能测试,测试结果表明,本文提出的方案具有可行性,在实际运用中具有高效、快速、准确和稳定的特点。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 课题研究背景
• 1.2 网络安全技术发展历程及现状
• 1.2.1 网络安全技术的发展现状
• 1.2.2 我国网络安全监控技术的发展现状
• 1.3 本课题研究的意义及内容
• 第二章 网站探测技术分析
• 2.1 网络扫描技术
• 2.1.1 网络扫描概述
• 2.1.2 网络扫描方法
• 2.1.3 网络扫描技术
• 2.1.4 扫描器介绍
• 2.2 网络爬行技术
• 2.2.1 网络爬虫与搜索引擎概述
• 2.2.2 网络爬虫工作原理
• 2.2.3 网页搜索策略
• 2.2.4 网页分析算法
• 2.3 网页快照技术
• 2.4 小结
• 第三章 非法网站探测系统总体设计
• 3.1 开发环境与应用平台
• 3.2 系统设计的原则
• 3.3 系统设计框架
• 3.3.1 设计思想
• 3.3.2 总体框架
• 3.3.3 各功能模块
• 3.4 系统工作流程
• 3.5 小结
• 第四章 非法网站探测系统各功能模块设计与实现
• 4.1 多线程和插件技术编程与实现
• 4.1.1 多线程编程与实现
• 4.1.2 插件技术编程与实现
• 4.2 IP扫描器模块设计
• 4.2.1 模块程序总体设计
• 4.2.2 主程序模块设计与实现
• 4.2.3 扫描功能设计与实现
• 4.3 网络爬虫器模块设计
• 4.3.1 模块程序总体设计
• 4.3.2 Crawler类设计与实现
• 4.4 网页快照抓取器模块设计
• 4.4.1 模块程序总体设计
• 4.4.2 Program类设计与实现
• get类设计与实现'>4.4.3 http_get类设计与实现
• 4.4.4 MyUrlTree类设计与实现
• 4.5 小结
• 第五章 测试与结果分析
• 5.1 测试实例
• 5.1.1 IP扫描器模块测试
• 5.1.2 网络爬虫器模块测试
• 5.1.3 网页快照抓取器模块测试
• 5.2 测试结果分析
• 5.3 小结
• 第六章 总结
• 致谢
• 参考文献
• 攻读学位期间发表的学术论文及科研项目