Web访问特征模拟器的设计与实现

论文摘要

Web缓存是一个提高Web性能非常有效的方法,它可以位于网络的不同位置:客户端,代理服务器端,服务器端。研究表明Web缓存命中率可以达到30%-50%。Web缓存可以大大提高Web系统的性能,但同时也提出许多问题,Web缓存在应用中最大的问题就是Web缓存管理,研究Web访问特征是有效进行Web缓存管理的基础,对Web网站的规划设计也具有非常积极的作用。近年来,通过对Web用户的行为跟踪,对Web对象访问特征的深入研究分析,发现Web对象访问具有以下几个共同特征:（1） Web对象访问频率服从类齐普夫法则（zipf-like law）;（2） Web对象大小服从重尾分布;（3） 50-70%的Web对象只被访问一次;（4） Web对象访问具有时间局部性;（5） Web对象访问具有空间局部性。 Web日志生成模拟器可以按用户指定的Web访问特征生成理想的模拟日志,对于研究Web缓存系统性能有很大地帮助,目前有两种方法模拟生成Web访问日志:日志驱动方法与数学模拟方法。日志驱动方法利用对历史日志进行变换来模拟生成新的日志;数学模拟方法是在充分研究Web对象访问特征的基础上,通过建立数学模型来模拟生成Web日志。 本论文首先通过分析Web对象访问特征,采用数学模拟方法分别模拟了Web对象高频区及低频区流行度特征、Web对象大小重尾分布特征、Web访问的时间局部性特征,设计并实现了一个Web日志模拟生成器WEBSIM。该模拟器不仅可以模拟生成Web对象访问日志,而且具有较大的灵活性,为进一步研究Web缓存技术和预取技术提供依据;本论文还利用WEBSIM模拟器生成的访问日志以及Cao Pei的Web替换算法性能测试仿真器对常用的Web缓存替换算法进行了细致的性能评估,通过实验进一步证明:在满足Zipf法则的前提下,LFU算法是比较好的选择。

论文目录

• 第一章 概述
• 1.1 引言
• 1.2 课题的研究背景
• 1.3 论文目标及创新工作
• 1.4 本论文的主要内容
• 第二章 Internet与WWW（World Wide Web）
• 2.1 Internet历史与发展现状
• 2.2 万维网WWW（World Wide Web）
• 2.2.1 Web工作方式
• 2.2.2 Web重要概念
• 2.2.3 HTTP
• 2.2.4 Web访问的时间延迟问题
• 2.2.5 Web访问时间延迟的解决方法
• 第三章 Web缓存技术
• 3.1 Web缓存分类
• 3.1.1 客户端缓存
• 3.1.2 服务器端缓存
• 3.1.3 代理服务器端缓存
• 3.2 传统缓冲技术
• 3.3 Web缓存与传统缓存的区别
• 3.4 Web缓存替换算法
• 3.4.1 衡量缓存替换策略的主要指标
• 3.4.2 传统的替换算法
• 3.4.3 对传统算法的改进算法
• 第四章 Web页面访问特征
• 4.1 时间局部性
• 4.2 空间局部性
• 4.3 流行度局部性
• 4.3.1 齐普夫第一法则（Zipf’s 1st Law）
• 4.3.2 齐普夫第二法则（Zipf’s 2nd Law）
• 4.3.3 Web页面流行度局部性与齐普夫法则的关系
• 4.4 Web文档大小重尾分布
• 第五章 Web日志模拟生成器
• 5.1 WEBSIM日志模拟生成器介绍
• 5.2 模拟Web对象低频区流行度特征
• 5.3 模拟Web对象高频区流行度特征
• 5.4 模拟Web对象大小重尾分布特征
• 5.4.1 模拟重尾分布的尾分布
• 5.4.2 模拟重尾分布的体分布
• 5.4.3 连接Web对象大小分布的体部分和尾部分
• 5.5 模拟Web对象访问时间局部性
• 5.5.1 静态LRU堆栈
• 5.5.2 动态LRU堆栈
• 5.5.3 模拟产生Web文档访问流
• 第六章 Web日志模拟生成器的仿真试验
• 6.1 Web日志模拟生成器的有效性
• 6.1.1 仿真试验一
• 6.1.2 仿真试验二
• 6.2 Web替换算法性能的对比测试
• 第七章 总结与展望
• 7.1 总结
• 7.2 展望
• 致谢
• 参考文献
• 攻读硕士期间所发表的文章