面向多通道输出系统的远程交互显示技术

论文摘要

科学技术的高速发展使信息量急速膨胀,在大规模信息可视化、远程医疗、虚拟现实、计算机辅助设计、商业营销、数字娱乐等诸多领域,用户对显示技术的要求也越来越高。主要需求表现为高的分辨率、大的显示尺寸和强的沉浸感。单通道显示系统由于其显示能力有限,难以承担海量信息的可视化任务。因此,具有多个输出画面的多通道显示系统得到了广泛应用。面对远程协同工作,用户要求能够对多通道显示应用进行远程访问和交互。由于VNC等传统远程交互软件难以有效支持多通道显示应用的远程访问,面向多通道显示系统的远程交互技术成为一个新的研究课题。目前的远程可视化系统通常采用基于像素流传输的方式来实现高性能应用输出画面的共享。现有研究工作仍存在不足之处,主要表现为:对多通道显示系统支持较弱,视频处理和传输效率低,难以实现多客户端情况下的实时性能;客户端类型单一并缺乏友好的用户交互界面。针对现有系统的不足之处,本文研制了面向多通道显示应用的远程实时交互系统。该系统服务端采用多通道视频捕获、异步视频处理方式来实现远程多通道、高分辨率显示应用程序画面的共享。该系统具有以下优点:(1)通过设计一种基于分块思想的多分辨率数据表示方式来优化视频处理。采用该表示,服务端只提供一条可共享的多分辨率视频流,可减轻因客户端数量的增加而导致系统性能的快速降低。(2)为减小网络传输带宽及客户端处理能力的需求,服务端根据客户端请求按需地发送客户端所需的压缩数据。系统支持多种图像、视频压缩格式来满足不同应用环境对图像质量和实时性能的需求。(3)采用多线程和速率控制技术来提高系统性能。多线程技术提高数据处理效率,增加数据吞吐量。速率控制技术能够平衡交互系统各组件的运行时性能,避免缓冲溢出,保证稳定的显示帧率。此外,系统提供两种不同类型的客户端。ControlClient适用于普通桌面环境,它适用于用户在低分辨率主机上对多通道显示系统进行远程交互访问。DisplayWallClient是基于多投影无缝显示墙的客户端,它能同时连接、显示多个远程应用,为用户小组提供高分辨率、沉浸感的显示环境。DisplayWallClient提供友好的用户界面使用户方便地执行窗口布局管理和远程交互。实验数据表明,本文提出的多通道远程交互系统在主流网络环境和多用户情况下可达到实时性能。

论文目录

• 摘要
• Abstract
• 第一章 绪论
• 1.1 引言
• 1.2 本文工作
• 第二章 相关工作
• 2.1 多通道显示应用
• 2.2 高分辨率显示系统构建
• 2.3 远程信息可视化与交互
• 2.4 图像、视频编解码原理
• 2.5 大屏幕交互客户端的用户界面
• 2.6 小结
• 第三章 面向多通道显示应用的交互系统
• 3.1 远程交互系统
• 3.2 服务端构架
• 3.3 服务端关键技术
• 3.3.1 多通道视频同步捕获
• 3.3.2 多通道视频压缩
• 3.3.3 多种编解码方案
• 3.3.4 多线程并发优化
• 3.3.5 速率控制优化
• 3.3.6 系统灵活配置
• 3.4 实验
• 3.5 小结
• 第四章 面向普通桌面环境的客户端
• 4.1 用户界面
• 4.2 客户端与服务端的通信
• 4.3 实验
• 4.3.1 多客户端性能
• 4.3.2 软件和硬件视频捕获
• 4.4 小结
• 第五章 面向多投影无缝显示墙的客户端
• 5.1 客户端构架
• 5.2 用户界面
• 5.3 多投影无缝显示技术
• 5.4 实验
• 5.5 小结
• 第六章 系统软件构架
• 6.1 模块结构
• 6.2 类图
• 6.2.1 Common模块
• 6.2.2 UI模块
• 6.2.3 Codec模块
• 6.2.4 Server模块
• 6.2.5 Client模块
• 6.3 小结
• 第七章 总结与展望
• 参考文献
• 致谢