基于IP的H.264关键技术

基于IP的H.264要害技术

　　一、 引言

　　H.264是ITU-T最新的视频编码标准，被称作ISO/IEC14496-10或MPEG-4 AVC，是由运动图像专家组(MPEG)和ITU的视频编码专家组共同开发的新产品。H.264分两层结构，包含视频编码层和网络适配层。视频编码层处理的是块、宏块和片的数据，并尽量做到与网络层独立，这是视频编码的核心，其中包含许多实现弊病恢复的工具；网络适配层处理的是片结构以上的数据，使H.264能够在基于RTP/UDP/IP、H.323/M、MPEG-2传输和H.320协议的网络中利用。

　　二、 IP网络对视频压缩的限制

　　1. H.264的利用处合

　　在讨论基于IP的H.264之前，有必要先论述一下H.264与IP网络有关的利用处合及其对传输和编解码器的恳求。下面介绍对话利用、下载服务和流媒体利用三种场合。

　　对话利用，比如像视频电话和视频会议，有严格的时延限制，恳求端到端时延小于1s，最好小于100ms。编解码器的参数能实时调剂，弊病恢复机制要根据实际网络变更而转变。编解码的复杂度不能很高，比如双向预测的模式就不能被采用。

　　下载服务，可利用可靠的传输协议如FTP和HTTP将数据全部传输。由于这种利用的非实时性，编码器可以通过优化进行高效编码，而且对时延和弊病恢复机制没有恳求。

　　流媒体服务利用，对时延恳求介于上面两者之间，初始化时延是10s以内。与实时编码相比对时延恳求降低，编码器可以进行优化实现高效编码(比如双向预测)。然而通常流媒体服务利用不可靠的传输协议，所以编码时要进行弊病把持并进行信道纠错编码。

　　本文重要讨论对话利用和流媒体利用，这两种利用基于IP网络。IP网络又可分为三种类型：不可控IP网络(如Internet)、可控IP网络(广域网)和无线IP网络(如3G网络)。这三种IP网络有不同的最大传输单元尺寸(MTUsize)、比特出错概率和TCP利用标记。最大传输单元尺寸是网络层最大的分组长度，H.264编码时要使片的长度小于MTU尺寸，这样可避免在网络层再进行一次数据的分割。两个IP节点之间的MTU尺寸是动态变更的，通常假定有线IP网络的MTU尺寸是1.5千字节，无线网络的MTU尺寸是100字节。可见要实用于无线网络的H.264必须采用数据分割技术使得片的长度小于MTU尺寸。TCP传输把持协议能够解决网络拥塞引起的分组丧失问题，而在无线网络中，分组丧失是由于链路层弊病引起的，TCP并非很好的解决措施，要采用弊病把持协议。

　　2. H.264利用的协议环境

　　对话利用和流媒体利用利用同一协议组，下面进行讨论。

　　网络层协议：利用IP(网际协议)。每个IP分组单独从发方出发，经过一系列的路由器达到收方。IP将大于MTU尺寸的分组进行数据分割、重组。每个分组的传输时间都有所不同。IP头20个字节由校验码来保证，但数据没有掩护。IP分组最大值为64千字节，但由于MTU尺寸的限制，一般没有这么大。

　　传输层协议：重要有两个协议，TCP和UDP。TCP供给面向字节的可靠传输服务，以重传和超时等机制作为弊病把持的基础。由于对时延的不可预测，并不实用于实时通信传输。UDP供给不可靠的数据报传输业务。UDP头包含的校验数(8字节)可以创造和去掉含有比特弊病的分组。UDP容许分组传输过程中涌现丧失、复制、改序等。利用UDP协议时，高层必须利用弊病恢复协议。

　　利用层传输协议：利用RTP(实时传输协议)。该协议和IP/UDP联合利用，是面向会话的协议。每个RTP分组包含RTP头标，载荷头标(可选)和载荷本身。RTP头标的内容见图1，基础选项占用12字节，标记位标记有同一时间戳的一组分组的结束。RTP协议使发送方将数据分为大小合理的分组，并将解码方视察到的网络特点反馈给发送方，使发送方可以动态调剂比特率和抗误码机制。RTP分组和RTP载荷规范在第四部分讨论。

　　利用层把持协议：有H.245协议、SIP和SDP，或RTSP。这些协议可以实现流媒体的把持，收发方的协商和把持动态会话层。

　　三、H.264的弊病恢复工具

　　弊病恢复的工具随着视频压缩编码技术的进步在不断改良。旧的标准(H.261、H263、MPEG-2的第二部分)中，利用片和宏块组的划分、帧内编码宏块、帧内编码片和帧内编码图像来防止弊病的扩散。之后改良的标准(H.263+、MPEG-4)中，利用多帧参考和数据分割技术来恢复弊病。H.264标准在以前的基础上提出了三种要害技术：(1)参数集合，(2) 机动的宏块次序(FMO)，(3)冗余片(RS)来进行弊病的恢复。

　　1. 帧内编码

　　H.264中帧内编码的技术和以前标准一样，值得注意的是：

　　(1)H.264中的帧内预测编码宏块的参考宏块可以是帧间编码宏块，帧内预测宏块并不像H.263中的帧内编码一样，而采用预测的帧内编码比非预测的帧内编码有更好的编码效率，但减少了帧内编码的重同步性能，可以通过设置限制帧内预测标记来恢复这一性能。

　　(2)只包含帧内宏块的片有两种，一种是帧内片(Islice)，一种是立即刷新片(IDRslice)，立即刷新片必存在于立即刷新图像(IDRpicture)中。与短期参考图像相比，立即刷新图像有更强健的重同步性能。

　　在无线IP网络环境下，为了进步帧内图像的重同步性能，要采用率失真优化编码和设置限制帧内预测标记。

　　2. 图像的分割

　　H.264支撑一幅图像划分成片，片中宏块的数目是任意的。在非FMO模式下，片中的宏块次序是同光栅扫描次序，FMO模式下比较特别。片的划分可以适配不同的MTU尺寸，也可以用来交错分组打包。

　　3. 参考图像选择

　　参考图像数据选择，不论是基于宏块、基于片，还是基于帧，都是弊病恢复的有效工具。对于有反馈的系统，编码器获得传输中丧失图像区域的信息后，参考图像可以选择解码已经正确吸收的图像对应的原图像区域作参考。在没有反馈的系统中，将会利用冗余的编码来增长弊病恢复性能。

　　4. 数据的划分

　　通常情况下，一个宏块的数据是存放在一起而组成片的，数据划分使得一个片中的宏块数据重新组合，把宏块语义相干的数据组成一个划分，由划分来组装片。在H.264中有三种不同的数据划分。 (1)头信息划分：包含片中宏块的类型，量化参数和运动矢量，是片中最重要的信息。 (2)帧内信息划分：包含帧内CBPs和帧内系数，帧内信息可以禁止弊病的蔓延。 (3)帧间信息划分：包含帧间CBPs和帧间系数，通常比前两个划分要大得多。

　　帧内信息划分联合头信息解出帧内宏块，帧间信息划分联合头信息解出帧间宏块。帧间信息划分的重要性最低，对重同步没有贡献。当利用数据划分时，片中的数据根据其类型被保存到不同的缓存，同时片的大小也要调剂，使得片中最大的划分小于MTU尺寸。

　　解码端若获得所有的划分，就可以完整重构片；解码端若创造帧内信息或帧间信息划分丧失，可用的头信息仍然有很好的弊病恢复性能。这是因为宏块类型和宏块的运动矢量含有宏块的基础特点。

　　5. 参数集的利用

　　序列的参数集(SPS)包含了一个图像序列的所有信息，图像的参数集(PPS)包含了一个图像所有片的信息。多个不同的序列和图像参数集经排序存放在解码器。编码器参考序列参数集设置图像参数集，根据每一个已编码片的片头的存储地址选择合适的图像参数集来利用。对序列的参数和图像的参数进行重点掩护才干很好地加强H.264弊病恢复性能。

　　在弊病信道中利用参数集的要害是保证参数集及时、可靠地达到解码端。例如，在实时信道中，编码器用可靠把持协议及早将他们以带外传输的方法发送，使把持协议能够在引用新参数的第一个片达到之前把它们发给解码器；另外一个措施就是利用利用层掩护，重发多个备份文件，确保至少有一个备份数据达到解码端；第三个措施就是在编解码器的硬件中固化参数集设置。

　　6. 机动的宏块次序(FMO)

　　机动的宏块次序是H.264的一大特点，通过设置宏块次序映射表(MBAmap)来任意地指配宏块到不同的片组，FMO模式打乱了原宏块次序，降低了编码效率，增长了时延，但加强了抗误码性能。FMO模式划分图像的模式各种各样，重要的有棋盘模式、矩形模式等。当然FMO模式也可以使一帧中的宏块次序分割，使得分割后的片的大小小于无线网络的MTU尺寸。经过FMO模式分割后的图像数据离开进行传输，以棋盘模式为例，当一个片组的数据丧失时可用另一个片组的数据(包含丧失宏块的相邻宏块信息)进行弊病掩盖。实验数据显示，当丧失率为(视频会议利用时)10%时，经弊病掩盖后的图像仍然有很高的质量。

　　7. 冗余片方法

　　前边提到了当利用无反馈的系统时，就不能利用参考帧选择的方法来进行弊病恢复，应当在编码时增长冗余的片来加强抗误码性能。要注意的是这些冗余片的编码参数与非冗余片的编码参数不同，也就是用一个含混的冗余片附加在一个明确的片之后。在解码时先解明确的片，如果其可用就丢弃冗余片；否则利用冗余含混片来重构图像。
 
　　四、H.264中实时传输协议(RTP)

　　1. RTP载荷规范

　　在第二部分已经对H.264的网络协议环境作了论述，这里要详细讨论RTP的载荷规范和抗误码性能。RTP通过发送冗余信息来减少吸收端的丢包率，会增长时延，与冗余片不同的是它增长的冗余信息是个别重点信息的备份，合适于利用层的非等重掩护。下边论述与多媒体传输有关的3个规范。

　　(1)分组复制多次重发，发送端对最重要的比特信息分组进行复制重发，使得保证吸收端能至少正确吸收到一次，同时吸收端要丢弃已经正确吸收的分组的过剩备份。

　　(2)基于分组的前向纠错，对被掩护的分组进行异或运算，将运算成果作为冗余信息发送到吸收方。由于时延，不用于对话型利用，可用于流媒体。

　　(3)音频冗余编码，可掩护包含视频在内的任何数据流。每个分组由头标、载荷以及前一分组的载荷组成，H.264中可与数据分割一起利用。

　　2. H.264 NAL单元的概念

　　H.264 NAL单元对编码数据进行打包，NAL单元由1字节的头，3个定长的字段和一个字节数不定的编码段组成。

　　头标的语法：NALU类型(5bit)、重要性教唆位(2bit)、禁止位(1bit)。

　　NALU类型：1～12由H.264利用，24～31由H.264以外的利用利用。

　　重要性教唆：标记该NAL单元用于重建时的重要性，值越大，越重要。

　　禁止位：网络创造NAL单元有比特弊病时可设置该比特为1，以便吸收方丢掉该单元。

　　3. 分组打包的规矩

　　(1)额外开销要少，使MTU尺寸在100～64k字节领域都可以；

　　(2)不用对分组内的数据解码就可以判别该分组的重要性；

　　(3)载荷规范应当保证不用解码就可辨认由于其他的比特丧失而造成的分组不可解码；

　　(4)支撑将NALU分割成多个RTP分组；

　　(5)支撑将多个NALU汇集在一个RTP分组中。

　　RTP的头标可以是NALU的头标，并可以实现以上的打包规矩。

　　4. 简略打包

　　一个RTP分组里放入一个NALU，将NALU(包含同时作为载荷头标的NALU头)放入RTP的载荷中，设置RTP头标值。为了避免IP层对大分组的再一次分割，片分组的大小一般都要小于MTU尺寸。由于包传送的路径不同，解码端要重新对片分组排序，RTP包含的次序信息可以用来解决这一问题。

　　5. NALU分割

　　对于预先已经编码的内容，NALU可能大于MTU尺寸的限制。虽然IP层的分割可以使数据块小于64千字节，但无法在利用层实现掩护，从而降低了非等重掩护方案的效果。由于UDP数据包小于64千字节，而且一个片的长度对某些利用处合来说太小，所以利用层打包是RTP打包方案的一部分。

　　新的讨论方案(IETF)应当符合以下特点：

　　(1)NALU的分块以按RTP次序号升序传输；

　　(2)能够标记第一个和最后一个NALU分块；

　　(3)可以检测丧失的分块。

　　6. NALU合并

　　一些NALU如SEI、参数集等非常小，将它们合并在一起有利于减少头标开销。已有两种集合分组：

　　(1)单一时间集合分组(STAP)，按时间戳进行组合；

　　(2)多时间集合分组(MTAP)，不同时间戳也可以组合。

　　五、结束语

　　本文重点讲述了在IP网络的限制条件下H.264进行弊病恢复的几种有力工具，但在不同的IP网络中要组合利用各种工具才干实现高效率编码和传输。因为目前无线网络对MTU尺寸和时延的限制，所以弊病恢复工具可以联合利用图像的分割、数据的划分和RTP分组技术，避免利用冗余信息和反馈来进步弊病恢复性能；另外高效率的FMO编码模式可以大大进步编码的抗分组丧失性能。