CDN-P2P混合架构视频点播系统的实现与用户行为分析

论文摘要

随着网络及其用户的爆炸性增长,人们越来越依靠网络中的多媒体应用来获取相关信息。多媒体流式系统目前已经被认为是网络中的“杀手级应用”,人们可以通过互联网络随时随地获取到多媒体内容。向大规模的（通常是上百万级别的）用户稳定而又持续地传输流式内容,无论是在学术界还是工业界,已成为研究的热点话题。目前工业界存在有两种传输媒体内容的可选技术:内容分发网络（CDN,Content Delivery/Distributed Network）和对等网络（P2P,Peer to Peer）。CDN技术通过在全国或全世界范围内部署多个边缘服务器,来使得媒体内容提供商能够处理更大量的用户请求;用户则可以通过选择合适的边缘服务器以最短的传输路径来获取流媒体内容;而ISP也可以更有效地避免骨干网的拥塞。由于在内容分发网中部署有较多边缘服务器,运营成本较高;同时由于其采取传统的客户端/服务器模式,并不能有效地解决可扩展性和处理大规模用户的突发访问现象,特别是在流媒体直播系统中。在P2P网络中,媒体内容可以在用户间共享,从而能够使得网络获得较高可扩展性的同时保持服务器端负载较小。用户随机地退出和加入网络对于系统的服务质量（Quality-of-Service）影响较大。同时这种非中心化的结构也会导致变动的流媒体质量和网络的不公平性,如位于NAT之后的用户可能没有向网络中贡献任何流量。本文设计和实现了一个CDN—P2P混合架构视频点播系统,它融入了CDN和P2P技术的优点,同时弥补了各自的不足。在该系统中,源服务器向CDN的边缘服务器中传输流媒体内容,这些边缘服务器也可以对等网的方式共享这些内容。当终端用户需要获取流媒体内容时,它被重定向到合适的边缘服务器中,P2P网络被局限在每一个边缘服务器所负责的网络中。首先,它可以最小化CDN网架构的改变,其次,可以控制边缘对等网络的流量处于某一个局部区域内,是ISP友好的,第三,它也承袭了CDN的可靠性和易管理特性。本文将视频点播系统分成三类:传统C/S视频点播,如PPLive,用户生成内容的视频点播,如YouTube,以及直播式点播。本文分析了这些系统的特点,如视频的产生方式,视频长度和视频流行度,等等;同时,也对于这些视频点播系统中的用户行为作了比较性分析,如用户的接入时间分布,用户观看时长,用户的交互性操作,等等。如果能够考虑不同视频点播系统中的用户行为特征,可以设计更加有针对性的、更有效的视频点播系统。

论文目录

• 摘要
• Abstract
• 第1章 引言
• 1.1 研究的背景及意义
• 1.2 需要解决的主要问题
• 1.3 本文的结构
• 第2章 相关工作
• 2.1 本章引论
• 2.2 在线视频点播系统
• 2.3 内容分发网络（CDN）简介
• 2.3.1 第一代缓存辅助CDN（Cache-Assisted CDN）
• 2.3.2 第二代光纤网辅助CDN（Fiber-Assisted CDN）
• 2.3.3 第三代对等网络辅助CDN（P2P-Assisted CDN）
• 2.4 对等网络（P2P）简介
• 2.4.1 基于中央目录服务器的 P2P 网络
• 2.4.2 非中心化的P2P 网络
• 2.4.3 基于DHT 的P2P 网络
• 2.4.4 引入数据源服务器的 P2P 网络
• 2.4.5 四代 P2P 技术的总体比较
• 2.5 实时流传输协议（RTSP）简介
• 2.5.1 RTSP 的报文结构
• 2.5.2 RTSP 的基本请求方法
• 2.5.3 RTSP 的实现流程
• 2.6 本章小结
• 第3章 CDN 和P2P 混合流媒体系统
• 3.1 本章引论
• 3.2 流媒体系统快速发展的挑战
• 3.3 CDN 和P2P 混合架构的设计和实现
• 3.3.1 系统架构的总体设计框图
• 3.3.2 服务器层设计
• 3.3.3 CDN 层的设计和实现
• 3.3.4 用户 P2P 层设计和实现
• 3.4 CDN-P2P 混合架构流媒体性能分析
• 3.4.1 无用户加入和退出的情形
• 3.4.2 存在用户退出的情形
• 3.4.3 存在用户加入的情形
• 3.4.4 同时存在用户加入和退出的情形
• 3.5 CDN-P2P 混合架构流媒体平台性能测试
• 3.5.1 P2P 网络的贡献效果
• 3.5.2 客户端播放的流畅性分析
• 3.5.3 冗余数据带宽分析
• 3.6 本章小结
• 第4章 视频点播中的用户行为分析
• 4.1 本章引论
• 4.2 用户行为分析的意义
• 4.3 大规模通用日志分析系统
• 4.3.1 日志分析流程
• 4.3.2 体系架构
• 4.3.3 数据库的设计和实现
• 4.3.4 解析器的实现
• 4.3.5 日志分析器的实现
• 4.3.6 绘图和输出
• 4.4 不同类型视频点播服务及其用户行为比较
• 4.4.1 视频的来源方式
• 4.4.2 视频长度
• 4.4.3 视频访问的集中度
• 4.4.4 用户的访问时刻
• 4.4.5 用户的访问时长
• 4.4.6 各类视频点播服务的总结
• 4.5 本章小结
• 第5章 大规模视频点播系统的稳定性研究
• 5.1 本章引论
• 5.2 视频点播系统中的缓存策略
• 5.2.1 边缘服务器的缓存策略
• 5.2.2 客户端的缓存策略
• 5.3 节点路由查找机制
• 5.3.1 Chord 算法的原理和实现
• 5.3.2 Pastry 算法的原理和实现
• 5.3.3 CAN 算法的原理和实现
• 5.3.4 Kademlia 算法的原理和实现
• 5.3.5 不同的DHT 算法的性能比较
• 5.4 传输协议分析
• 5.5 本章小结
• 第6章 总结与展望
• 6.1 本文的总结
• 6.2 未来工作展望
• 参考文献
• 致谢
• 个人简历、在学期间发表的学术论文与研究成果