集群WEB代理服务器的设计

论文摘要

“集群WEB代理服务器”是根据北京市科委“基于IPv6的下一代互联网关键技术研发及产业化推进”项目中“IPv6流媒体分发应用支撑系统”的一个子系统且已得到了实际的应用。由于增长的WEB服务需求产生了用户体验与现有网络带宽的矛盾。提供服务的因特网运营商在解决这一矛盾时,必须考虑用户体验,且应尽可能地满足用户。本文所提出的一种新型架构的透明集群WEB代理服务器一般布置在运营商局域网的出口。通过实际测试,发现这种集群透明WEB代理服务器能有效地降低运营商出口流量,并节省约8%的成本。本论文所提出的是一种新型透明集群代理服务器。透明代理,与NAT（网络地址转换）有许多地方很相似,通常是通过对TCP报头的拦截并纂改其报头而得以实现的。处于透明代理时,用户感觉不到代理的存在,减少了为通知用户正确设置IP所遇到的困难。因此,采用透明代理不但使运营商节省了费用,也节省了用户的时间与精力。另外,采用集群一方面尽可能地提高了其代理服务器的I/O吞吐能力与服务能力,另一方面也减少了响应时间。在本论文的开始,先对涉及一般代理服务器及虚拟服务器体系架构的术语及相关协议进行了必要的介绍,对单节点代理服务器所涉及的关键技术及基于IP地址的Round-Robin负载均衡等调度算法也做了介绍。由于集群中前端节点每秒会对数万个TCP包进行拦截与分析,并会向LBE产生频繁的查询操作,所以采用了epoll异步驱动机制,以提高其响应速度,减轻前端节点的压力。通过对不同的服务架构与事件驱动机制的分析,本文构架了遵循HTTP标准的高性能集群代理服务器,并在Linux平台上实现了其基本功能。系统各模块运行在一个基于异步事件驱动的系统运行框架之上。根据Linux2.6内核特性,利用其提供统一的事件的登记和回调接口,所有的操作都是通过登记事件,然后在检测到异步事件时回调相应的处理函数,整个过程都是异步的。另外,为了获得高性能,在设计上采用了HASH散列技术,内存池及线程池技术,提高了对磁盘文件的搜索与传输速度。在论文的后半部分对详细设计与实现以及其实现的一些缺点也分别做了阐述。通过测试,证明了设计是基本成功的,获得了预期的扩展性与I/O性能。

论文目录

• 摘要
• ABSTRACT
• 第一章 引言
• 1.1 课题研究背景
• 1.2 对集群WEB代理服务器的需求
• 1.3 国内外研究现状
• 1.4 本论文的工作和创新
• 1.5 论文的结构及内容
• 第二章 集群WEB代理技术的介绍
• 2.1 HTTP协议及其它相关协议介绍
• 2.1.1 HTTP协议介绍
• 2.1.2 HTTP/1.0和HTTP/1.1的主要区别
• 2.1.3 HTTPS协议
• 2.1.4 WCCP协议
• 2.2 WEB代理技术介绍
• 2.2.1 文件缓存技术
• 2.2.2 缓存淘汰技术
• 2.2.3 缓存一致性
• 2.2.4 DNS缓存技术
• 2.3 集群WEB代理技术的介绍
• 2.3.1 集群系统中的负载均衡技术
• 2.3.2 调度技术
• 2.4 小结
• 第三章 集群WEB代理服务器的架构与流程
• 3.1 单节点代理服务器架构
• 3.1.1 网络拓扑图及通信过程
• 3.1.2 单节点代理服务器内部组成
• 3.2 非透明集群服务器架构
• 3.2.1 VS/NAT架构
• 3.2.2 VS/TUN架构
• 3.2.3 VS/DR架构
• 3.3 透明集群WEB代理服务器架构
• 3.3.1 使用透明集群WEB代理服务器的意义
• 3.3.2 透明集群WEB代理服务器各模块功能
• 3.4 透明集群WEB代理服务器主要工作流程
• 3.4.1 客户端请求内容不在集群的工作流程
• 3.4.2 客户端请求内容被命中的工作流程
• 3.5 小结
• 第四章 集群WEB代理服务器系统分析
• 4.1 总体性能考虑
• 4.1.1 可伸缩性
• 4.1.2 高性能低成本
• 4.1.3 高可用性
• 4.1.4 透明性（Transparency）
• 4.1.5 可管理性（Manageability）
• 4.1.6 兼容性（Compatibility）
• 4.2 I/O模型的的选择及分析
• 4.2.1 I/O模型
• 4.2.2 常用I/O函数比较
• 4.2.3 非阻塞I/O中要考虑的问题
• 4.3 单服务器架构
• 4.3.1 几种服务器架构
• 4.3.2 多进程
• 4.3.3 多线程
• 4.3.4 单进程事件驱动
• 4.4 查询效率考虑
• 4.4.1 F2/LBE查询效率的考率
• 4.4.2 RealProxy对缓存文件的查询的效率
• 4.5 记录一致性考虑（前端节点F2，LBE及RealProxy）
• 4.5.1 记录之间的一致性
• 4.5.2 记录与缓存内容之间的一致性
• 4.6 用户请求的拦截与管理
• 4.6.1 用户请求拦截与管理模块的要求
• 4.6.2 捕获的用户请求的管理
• 4.7 部署位置
• 4.8 小结
• 第五章 集群WEB代理服务器系统设计
• 5.1 前端模块设计
• 5.1.1 前端过滤节点FrontFileter系统设计概述
• 5.1.2 线程结构设计
• 5.1.3 报文处理模块
• 5.1.4 扩展名表查询处理
• 5.1.5 数据库设计
• 5.1.6 日志功能
• 5.2 负载均器设计
• 5.2.1 模块间流程设计
• 5.2.2 模块设计
• 5.2.3 主程序流程图
• 5.2.4 F2-LBE通信模块流程图
• 5.2.5 LAE-LBE通信模块流程图
• 5.2.6 LBE数据库设计
• 5.2.7 LBE负载调度技术
• 5.3 链路分析器（LAE）
• 5.3.1 UDP消息格式
• 5.3.2 流程分析
• 5.3.3 各模块设计
• 5.3.4 子线程处理队列
• 5.3.5 类图与数据结构设计
• 5.4 单节点代理服务器的设计
• 5.4.1 总体设计思路
• 5.4.2 流程描述
• 5.4.3 单线程与线程池相结合的服务器架构
• 5.4.4 内存池的管理
• 5.4.5 磁盘文件的哈希查找
• 5.5 小结
• 第六章 系统测试
• 6.1 测试环境
• 6.1.1 测试设备
• 6.1.2 测试工具
• 6.1.3 测试的网络拓扑结构
• 6.2 单代理服务器的测试
• 6.2.1 客户端字符编码适应性测试
• 6.2.2 RealProxy单一节点代理服务器的I/O能力测试
• 6.2.3 测试小结
• 6.3 集群代理服务器缓存测试
• 6.3.1 测试环境及条件
• 6.3.2 性能测试结果
• 6.3.3 测试小结
• 第七章 结论
• 致谢
• 参考文献
• 攻硕期间取得的研究成果