互联网广告经营管理系统的设计与实现

论文摘要

随着互联网应用技术发展,网络广告内容交易平台成为新的互联应用盈利模式,此类网站往往要同时承担大量用户的的web请求。如何建设快速、大并发量,可持续扩展的web应用架构成为该类应用的关键。如何利用现有的软件资源进行快速的应用整合是网站成功的基础。本文针对大规模互联网广告经营管理需求设计了基于Linux操作系统平台的分布式、大容量、可扩展的互联网广告经营管理系统。实现了互联网广告的发布,广告播放时段交易,以及广告播放统计三个主要的功能,为广告主、广告商,网站管理者提供一个易用、安全、快速的广告交易平台,并且使得广告内容受众能够快速无障碍的浏览到广告内容。本系统采用Browser/Server结构开发,使用Python语言作为基础程序设计语言,根据MVC（Model-View-Controller,模型-视图-控制器）软件开发架构,结合开放源代码的公共组件memcached、memcacheQ、Twisted,实现了系统的分布式用户请求处理,并且保证了系统的高可用性以及系统的可扩展能力。本文对持久性hash算法（Consistent Hashing）进行了介绍和研究,该算法能够较好地解决在分布式缓存节点数变化后大量缓存内容需要重新分配存储节点,造成缓存命中率下降的问题。同时由于Twisted网络框架中没有实现可用的针对memcache服务的分布式算法及其相关协议,所以本系统根据memcache服务的通信协议完成了一个非阻塞的异步分布式memcache服务客户端模块,该扩展模块能够良好地处理大量的缓存内容在不同memcache服务中的分布式存储。本文对基于事件的Twisted网络框架的事件回调机制和事件延迟机制进行了介绍。分析和研究了针对大容量、多连接、高并发的网络应用服务系统应采用何种底层网络IO结构。对常用的基于CGI协议的WEB应用开发方法和基于HTTP服务器的WEB应用开发所能够承受的用户并发数进行了对比测试。同时研究了针对大资料量的先进先出（First-In/First-Out）消息队列系统的分布式处理方法,利用该方法实现了一个用户可接受数据延迟的网络广告播放统计分析子系统。本系统无论从操作系统、程序设计语言、还是各个应用服务组件都使用了开放源代码的产品或组件,充分的利用开放源代码产品和组件不但能够减少企业运营的成本、而且可以获得良好的小区技术支持。开放源代码的产品和组件人人可以任意取得自由软件的原始码,所以软件的很多功能可以相互引用,不用再浪费无谓的时间精力重新开发,这可以大大加强软件开发的质量和速度。

论文目录

• 摘要
• ABSTRACT
• 1 绪论
• 1.1 研究背景
• 1.2 广告经营管理系统功能
• 1.3 本文章节安排
• 2 软件架构和子系统设计
• 2.1 软件架构
• 2.2 广告经营管理系统软件程序设计语言与框架
• 2.3 子系统及其模块
• 2.3.1 广告内容管理子系统
• 2.3.2 广告内容分发子系统
• 2.3.3 广告内容分发子系统的缓存子模块
• 2.3.4 广告内容播放分析子系统及分布式消息队列子模块
• 2.4 本章小结
• 3 广告内容管理子系统的设计与实现
• 3.1 MVC 模式以及适用于WEB 开发的MVT 模式（Django）
• 3.1.1 View
• 3.1.2 Controller
• 3.1.3 Model
• 3.2 广告内容管理子系统的设计方法
• 3.2.1 广告内容管理子系统的 MVT 结构
• 3.2.2 广告内容管理子系统应用划分
• 3.3 本章小结
• 4 高并发的广告内容分发子系统的设计与实现
• 4.1 基本IO 模型介绍
• 4.1.1 同步阻塞 I/O
• 4.1.2 同步非阻塞 I/O
• 4.1.3 异步阻塞 I/O
• 4.1.4 异步非阻塞 I/O（AIO）
• 4.2 广告内容分发子系统的高性能解决方案
• 4.3 广告内容分发子系统的实现
• 4.3.1 Reactor
• 4.3.2 callback
• 4.3.3 Deferred
• 4.3.4 Deferred 在广告内容分发子系统的具体使用
• 4.3.5 Protocol 和 Factory
• 4.4 Twisted 网络框架编写的HTTP 服务器应用程序性能测试
• 4.5 本章小结
• 5 广告内容分发子系统缓存子模块的设计与实现
• 5.1 缓存子模块在广告内容分发子系统中的作用
• 5.2 Memcache 简介及使用
• 5.3 Memcache 分布式服务算法
• 5.4 缓存子模块的应用接口设计与实现
• 5.5 针对缓存子系统的自动单元测试
• 5.6 本章小结
• 6 广告内容分发消息队列的设计与实现
• 6.1 消息队列
• 6.2 广告分发子系统的消息队列
• 6.3 消息队列Client API
• 6.4 MemcacheQ消息队列服务的分布式设计
• 6.5 本章小结
• 7 总结与展望
• 7.1 本文总结
• 7.2 工作展望
• 参考文献
• 致谢
• 攻读学位期间发表的学术论文目录