无线视频编码技术的新发展

    一. 无线视频应用的特点
    近年来，无线通信领域的应用与研究十分活跃，热点不断出现，这包括3G移动通信系统、宽带固定无线接入技术、无线局域网技术、Wimax技术、超宽带技术等等。尽管无线通信技术的发展为宽带无线视频应用提供了所需的传输带宽，但要在无线或移动环境中实现视频通信仍然面临两方面的问题：首先，无线信道是一个时变信道，无线环境的多经干扰、慢衰落和快衰落以及由于移动所带来***频率偏移均会导致无线传输不可避免地会出现传输错误，要求高层的视频应用必需有很强的容错能力。其次，无线通信终端为保持其便于携带、可移动的特点，通常要求体积小、重量轻、功耗低，使得无线终端通常只有有限的处理能力，不能满足运算密集型应用的需要。
无线信道的时变性和无线终端处理能力的有限性使得现有的视频编码技术不能完全满足无线视频应用的需要，主要表现在以下几个方面：首先，现有的视频编码算法的中心任务是去除图像序列中的冗余，以节约传输带宽，很少考虑信道误码的影响，使得视频码流的抗误码能力非常弱。比如：ITU-T的H.26x系列标准和ISO的MPEG系列国际标准均采用运动补偿+变换编码+熵编码的混合编码方案，以消除活动图像在时间、空间及符号间的冗余。熵编码的优点是可以进一步去除符号间冗余，缺点是对传输错误非常敏感，一个比特的错误可能影响后续多个符号的正确译码。帧间预测技术可以有效地消除时间上的冗余，但如果参考图像出现错误，会直接影响后续图像帧的正确重建，引发连续多帧图像的错误，严重影响图像主观质量。其次，现有视频编码算法的复杂度通常远高于***算法的复杂度，并且呈现编码越来越复杂的趋势，因而要求编码设备要有更高的配置，对视频编码设备的性能提出了很高的要求。在无线视频监控、无线视频传感器网络、无线视频通信等应用中，由于无线终端的内存、电池容量和处理能力均有限，直接采用现有的高复杂度编码算法就需要以牺牲图像的实时性或图像质量为代价。此外，在无线视频应用中，由于无线终端的数目很大，性价比要求高，这也限制了终端处理能力的扩展。
    针对无线视频应用的特点，近年来人们提出了很多新的思路和方法，推动着视频编码和传输技术不断向前发展，下面我们简单介绍无线视频编码与传输技术方面的新进展。

    二. 无线视频编码技术的新发展
    1.差错控制与错误隐藏
    针对无线传输存在较高比特误码的问题，人们提出错误控制和错误隐藏两类方案。错误控制（Error Control）的核心是运用纠错编码技术对码流进行保护，以抵御无线信道误码。这类方法的优点是：抗误码的性能比较好，但需要编码和***相互配合才能获得比较好的效果，有些算法需要反向信道。由于加入了用于检错和纠错的冗余信息，编码效率有所下降。此外，在加入纠错信息后，通常会改变码流原有的语法结构，导致编码输出的码流与标准码流不兼容。
    错误隐藏（Error Concealment）技术的基本原理是：错误发生后，接收端尽可能根据已经正确接收的信息进行补救，控制误码扩散。这类方法的特点是：错误处理只在***端进行，不需要改变码流结构。不足之处在于：这是一种错误发生后才采取的被动处理方法，效果不如错误控制好，且***终效果与错误发生的位置有关。
    图1给出了H.264基于FMO的错误隐藏算法的例子。针对可能出现的信道传输误码，H.264改变了传统的SLICE数据块构造方式，提出将位置上不相邻的数据块安排在同一个SLICE中，即便是一个SLICE的数据完全丢失，由于这些块彼此并不相邻，因此可以用附近正确接收的数据通过内插或帧间数据拷贝等方法来***丢失的数据块，从而提高图像的主观质量。

    2.分布式视频编码
    分布式视频编码的理论基础是1973年由Slepian和Wolf提出的分布式无损编码理论和1976年，A. D. Wyner和J. Ziv在此基础上提出的有损分布式编码理论。
    算法基本原理如图2所示。输入的视频图像序列首先被分为两类：关键帧和Wyner-Ziv帧，由于它们来自于同一个图像序列，因此彼此之间有很强的相关性。根据Wyner-Ziv理论，对于这两个相关信号，可以在编码端对其进行***编码，然后进行传输，接收端只要进行联合译码，就可以将失真控制在一定的范围之内。对于关键帧，可以采用目前常用的帧内编码算法进行编码，消除图像帧内的冗余。对于Wyner-Ziv图像帧，则需要采用Wyner-Ziv编码算法进行编码。码流经过信道传输后到达接收端。关键帧采用现有的帧内***算法进行***，获得重建的***帧。Wyner-Ziv帧则使用***大似然译码算法进行译码。在***大似然译码过程中，需要使用有关当前图像的先验信息，为此需要根据重建的关键帧和重建的Wyner-Ziv帧，通过运动估计及插值来构造译码所需要的附加信息。
    在传统的视频编码算法中，运算量庞大的运动补偿是在编码端完成的，因此编码器通常比较复杂，且价格昂贵。在分布式视频编码中，运动估计和运动补偿在***端完成，因此具有编码简单、***复杂的特点。这一特点使得它特别适合于无线视频应用，因为无线终端通常采用电池供电，且处理能力有限，采用这种编码算法可以降低对手持设备的硬件要求和功耗，延长电池使用时间。
    3.分层可扩展编码
    分层可扩展编码的思想可追溯到上世纪90年代，当时的视频编码器通常只能输出一种质量的码流，如果用户有多种需求，那么就需要用多个编码器编码输出多个码流。比如：同样一个视频节目，如果带宽受限的手机用户和采用宽带接入的用户都需要观看，那么需要用两个编码器进行编码，输出两种节目码流，手机用户接收专门为其定制的码流，计算机用户则接收另外一个码流。分层可扩展编码的基本思路是：编码器输出一个基本码流和多个增强码流。基本码流可以******和显示，但只提供***基本的图像质量，增强码流***的结果不能直接显示，它需要与基本码流***的结果相互叠加才能提供更高质量的图像。增强层层数越多，图像质量也就越高。用户可以根据自己的可用带宽、质量需求等因素确定增强层的数目。根据分层策略的不同，分层可扩展编码可分为三大类：时域可扩展性、空域可扩展性和质量可扩展性。其中质量可扩展性也称为PSNR可扩展性，原因是视频质量通常用峰值信噪比（PSNR）来衡量。
    时域可扩展主要通过调整编码的帧速率来实现分级，基本层的帧速率比较低，会有动作不连贯的现象，而随着增强层层数的增加，帧率不断提高，动作连续性将显著改善。图3给出了时域分级的示意图。在这个例子中，基本层编码时每隔3帧进行一次编码，即：基本层的帧速率只有原始图像序列的1/4。增强层1尽管也是每隔三帧编码一次，但编码帧的位置与基本层相互交叉。增强层1和基本层叠加后，用户实际获得帧速率为原始帧速率的1/2。增强层2隔帧进行编码，如果用户完整地接收到基本层数据和两个增强层的数据，那么其帧速率与原始图像完全相同。
    空间分级主要从图像分辨率方面来进行分级。图4给出了空间分级的示意图。图中基本层的图像尺寸原图像的1/16，增强层的图像分辨率是原图像的1/4格式。如果原图像的分辨率为704×576，那么基本层的分辨率仅为176×144，这种尺寸的图像适合在手机屏幕上显示，添加增强层1后，其分辨率达到352×288，可满足视频会议的需要，如果进一步增加增强层2，分辨率达到SDTV要求。这样同一个节目可以同时满足3种显示分辨率用户的需要。
    PSNR可扩展主要通过调整量化器的量化步长来实现分级。比如：基本层的量化步长取值为20，增强层的量化步长可以取值为10。量化步长越小，图像失真就越小，质量也就越高。
    4.多描述编码
    随着数字视频通信技术的发展，视频信息已越来越普遍地在有噪声信道（如无线信道和Internet）中传输。无线网络的移动性、衰落、通信量竞争和干扰以及Internet由于网络拥塞造成的包丢失都使视频信号的可靠传输面临着许多挑战。为提高视频码流的容错能力，人们提出了多描述编码（Multiple Description Coding，MDC）算法。