基于Web挖掘的Proxy端预取技术的研究与实现

论文摘要

WWW的迅速发展,改变了信息创建和交换的方式。虽然网络速度在近几年有了很大的提高,但网络带宽的增长却总是滞后于对其需求的增长,使得人们在访问WWW时总是要忍受较长的等待时间。Web预取作为一种最流行和最有效的减少访问延迟的手段,已经越来越受到研究者的关注。 由于基于Web挖掘的预取能够更加准确地反映用户的访问模式,从而取得更好的预取性能,所以,它一直是Web预取研究的热点。而代理服务器作为Internet基础构架的中间层,本身就具备了减少Web访问延迟的作用。如果在代理服务器端实现基于Web挖掘的预取,无疑会取得最佳的效果。 在本文中,我们研究了基于Web挖掘的Proxy端预取技术,目的是减少用户访问Web时所感知的延迟,为用户提供个性化的预测预取服务。我们用代理服务器上的访问日志作为训练数据集,努力以最小的数据集来建立高效的预测预取模型。为了提高预取模型的性能,我们还根据Web的变化特点,引入了新闻性网页的概念,并以此为基础,在Web挖掘的事务识别阶段,象剔除噪声数据一样,把这些新闻性网页去除,实验表明,它不仅可以有效地缩减预测预取模型的体积,而且能够提高预测预取的性能。为了追踪Web的变化更新,弥补基于日志挖掘的预测模型只能反映用户过去的访问行为和只能为已有的用户提供预取服务的缺憾,我们还提出了动态预测预取模型和增强型动态预测预取模型的方法,以预测Web的最新变化,并为新增加的用户提供预测预取服,实验表明,它们可以进一步提高预测预取系统的性能。为了保证预测预取模型的效率,我们还采用Hash函数、链表等来组织模型文件和索引结构。 虽然我们在本文中所实现的几种预测预取模型都是以关系图为基础,但它同样适用于PPM模型,并且在PPM上会取得更佳的性能。

论文目录

• 独创性声明
• 摘要
• Abstract
• 第一章 绪论
• 1.1 问题提出
• 1.1.1 背景
• 1.1.2 Web代理与高速缓存
• 1.1.3 高速缓存一致性
• 1.2 本文的研究目标
• 1.3 课题来源
• 1.4 论文内容组织
• 第二章 Web预取的特点及研究进展
• 2.1 Web预取的特点
• 2.2 Web预取的方法
• 2.3 在哪里实现预取
• 2.4 基于Web挖掘的预取特点
• 2.5 Web预取的研究进展
• 2.5.1 客户端、服务器端的Web预取研究
• 2.5.1.1 统计概率模型
• 2.5.1.2 PPM（Prediction by Partial March）模型
• 2.5.1.3 其它模型
• 2.5.2 代理服务器端的Web预取研究
• 2.6 本章小结
• 第三章 基于Web挖掘的Proxy端预取技术
• 3.1 相关工作及预取模型结构
• 3.2 模式挖掘
• 3.3 预测预取模型
• 3.3.1 新闻性网页
• 3.3.2 对现有预取模型的改进
• 3.3.3 动态预测预取模型
• 3.3.4 增强的动态预测预取模型
• 3.4 存贮管理
• 3.4.1 单用户模型的存贮结构
• 3.4.2 整个模型的存贮结构
• 3.5 模型的动态更新
• 3.5.1 动态更新的必要性
• 3.5.2 动态更新的方法
• 3.6 预测及高速缓存管理
• 3.6.1 与代理服务器的衔接
• 3.6.2 预测及高速缓存管理
• 3.6.2.1 高速缓存的系统结构
• 3.6.2.2 预取及高速缓存管理流程
• 3.6.2.3 预取及高速缓存管理算法
• 3.6.3 高速缓存替换策略
• 3.7 本章小结
• 第四章 基于Web挖掘的Proxy端预取实现
• 4.1 实现目标
• 4.2 预取原型的实现
• 4.2.1 日志分析
• 4.2.2 关系图模型
• 4.2.3 关系图改进模型
• 4.2.4 动态关系图改进模型
• 4.2.5 增强的动态关系图改进模型
• 4.2.6 高速缓存模拟
• 4.2.7 预取模拟
• 4.3 本章小结
• 第五章 预取原型系统性能检验
• 5.1 Web高速缓存命中率检验
• 5.2 预取原型系统性能检验
• 5.2.1 高速缓存命中率
• 5.2.2 各种模型的体积
• 5.2.3 预测预取时间
• 5.3 本章小结
• 第六章 结论及未来工作
• 参考文献
• 致谢