第 29卷 第 l2期 2009年 l2月 计算 机应 用 Journal of Computer Applications V0l_29 No．12 Dec． 2009 文 章 编 号 ：1001—9081(2009)12—3307—03 MIMO系统 中的 H．264／SVC数 据 流 抽 取 和 重 组 算 法 杨 金 ，孙 世 新 (电子科技 大学 计算机科学与工程学院 ，成都 610054) (rbjojo@ yahoo．con．cn；sxsun@ uestc．edu．ca) 摘 要 ：为 了使 H．264可分 级 视 频 编 码 (SVC)生成 的数 据 流 分 割 为 多个 子 数 据 流 ，便 于在 多输 入 多输 出(MIMO) 无线 网络的 不同子信道上传输 以提 高视 频传输速率 ，提 出了一个 SVC数据 流抽 取和 重组 算法。在发 送端 ，该算 法利 用 SVC数 据 流 的分 层 结 构 ，将 其 中 的基 本 层 和 增 强 层 抽 取 为 多 个 子 数 据 流 ，并 保 持 基 本 层 子 数 据 流 能 够 独 立 解 码 。 在接收端 ，该 算法将接 收到的子数据流重组成 可解码 的 SVC数 据流。 实验证 明该算 法能充分利 用 MIMO 系统提供 的 高 带宽 ，并 具 有较 低 的 冗余 度 和 较 好 的 灵 活 性 。 关 键 词 ：H．264；可 分级 视 频 编 码 ；多输 入 多输 出 ；数 据 流 抽 取 和 重 组 中 图 分 类 号 ：TP391 文 献 标 志 码 ：A Bitstream extracting and re-assem bling for H ．264／SVC video transm ission over M IM O system (School ol’Computer Science and Engineering． University of Electronic Science and Technology of China，Chengdu Swhuan 610054，China) YANG Jin．SUN Shi—xin Abstract：In order to divide the H．264 Scalable Video Coding(SVC)bitstream into sub—bitstreams that are transmitted in different Multiple—Input Mutiple—Output(MIMO) sub—channel to improve the video data transmission rates over wireless system， a bitstream extracting and re—assembling schem e was proposed to extract the basic and enhancement layers of SVC bitstream into sub—bitstrcams at the sender side while keeping the sub—bitstream of basic layer to be decoded independently． At the receiver side the received sub--bitstreams were reconstructed by a bitstream re——assembling schem e into decodable SVC bitstream ． Experimental results show that the proposed scheme can make full use of the high—bandwidth provided by M IM O systems with low redundancy and high flexibility． Key words：H．264 ；Scalable Video Coding(SVC)；Multiple—Input Mutiple—Output(MIMO)；bitstream extracting and re—assembling 0 引言 本 文利用H．264／SVC中分层 的概念 ，提 出了 H．264／SVC视频 数 据流的抽 取 和 重组 算 法 ，该 抽 取算 法 以网络 抽 象层 单 元 移动无线通信技 术的飞速发展使越来越多 的视频信息得 (NAL Unit)为基本 单位 ，将 SVC数据流 中的基本层 和增 强层 以在无线 网络 中传播 。作 为无 线通信 技术 的重要 突破 ，多输 分 解为不 同的子数据流 ，而且确保 抽取 出的基本 层可 以不依 入 多输 出 (Multiple—Input Mutiple—Output，MIMO)技 术 相 对 于 赖 其他被独立解码 。同时 ，该 重组算 法可 以根据 终端设 备对 传 统 的单 输 入 单 输 出 (Single—Input Single—Output，SISO)技 术 空 间 分 辨 率 和 质 量 的需 求 ，灵 活 选 择 适 当 的 增 强 层 与 基 本 层 可 以提供更低 的网络延迟 和更 高的带宽 ，使得 无线 网络 中高 重 组 获 得 可 解 码 的 SVC数据 流 。 质 量实 时视频 传输 成为 可能 。与此 同时 ，ISO／IEC组 织 和 国 际电信联盟联合 制定 了 H．264／AVC标 准的最新 扩展 可分级 l 系统结构描述 视 频 编码 技 术 (H．264／SVC)… 。 H．264 ／SVC 引 入 了 分 层 的 MIMO空间复用技术 可以为无 线视频传 输提供较 大的带 数据流结构 ，为视频信 号提供 了空 间、时 间 、质量 三个 层次 的 宽 。 本 文 着 重 研 究 H．264／SVC压 缩 视 频 数 据 流 在 MIMO 网 可分级性 ，出色的灵活性 和编码 效率使 其成 为了无线 视频传 络上利用空间复用技术进行 传输的解决方案 。图 1展示 了本 输 的有 效编码方案。MIMO系统中的视频 传输技术 已经得 到 文提 出的 H．264／SVC 与 MIMO技术相 结合 的传 输系统 的基 了广泛的关注和研究 。文献 [2]提 出了在 MIMO系统 无线 视 本结构 (以一 个 3×3MIMO系统 为例 )。在发送 端 ，源视频数 频 传输 的 方 案 。 文 献 [3]提 出 了对 被 分 割 在 多 个 子 信 道 上 传 据 被 编 码 成 为 一 个 具 有 3层 结 构 的 SVC视 频 数 据 流 。 该 数 输 的视 频数 据提供非平等数据 保护 (Unequal error Protection， 据流通过 数据流抽 取算法 分解成 为 3个独立 子数据流 ，每个 UEP)的方法 。文献 [4—6]研究 了 SVC数 据流 的基 本层 和各 子 数 据 流 经 过 调 制 和 天 线 选 择 模 块 后 被 发 送 到 3个 不 同 的 个 增强 层在不同的 MIMO子信道传输时通过信道选择 和功率 MIMO子信道 中。在接 收端 ，经 过解 调获 得 的 3个 子数 据流 分 配 等方 法 提 高 视频 传输 质 量 。以 上 这 些 文 献 中都 涉 及 到 了 通过数据重组算法 进行重 组 。根据 终端设 备对分 辨率 、帧率 将 视频 数据 流的分割成子数据流用于不 同子信道 中传输 的问 等方 面的不 同需求 ，基本层 与适 当 的空 间增 强层子数 据流被 题 ，但是却没有提 出具体 的数据流分 割和重建 的方案。为此 ， 重组成为可解码 的 SVC数据 流。对 于 PC等 终端 设备 ，可 以 收 稿 日期 ：2009—06—18；修 回 日期 ：2009—08—14。 作者简介 ：杨金(1981一)，男 ，四川宜宾人 ，博士研究生 ，主要研究方 向：视 频压缩 、视频传输 ； 孙世 新 (1940一)，男 ，湖北孝感 人 ，教授 ，博 士生 导 师 ，主 要 研 究 方 向 ：视 频 压 缩 、并 行计 算 。 

3308 计 算机 应 用 第 29卷 选 择 更 多的 问 增 强 层 基冬 重 绀 以 获 得 更 高 的 分 辨 率 ， sub— seq—layer_ hum 和 sub—seq—id字 段 标 识 该 子 序 列 ，这 两 个 于机 等 终 端 设 备 则 使 削较 少 的增 强 层 进 行 组 最 后 币组 段 被 用 住 后 文 的 币 组 过 程 巾标 识 多 个 了数据 流 中 的 同一 子 的 SVC视 频 数 据 流 通过 解 码 器 被 还 原 成 视 频 数 据 。 序列 。Prefix NAL Unit必 须 出现 在 第 一个基 本 层 (DID=0)的 到 一 1 i { ： ． M 排 列 。 ： ． j 、 ． Slice NM Unit之前 ，为基 本层 解码 提供信息 而后 i 的 一 系列 Slice NAI Unit按 照 u『分 级 层 次 由 低 到 高 我 仃J的数 据 流 抽 取 算 法 以审 问 增 强 层 (CGS质 o 量 增 强 层 被 看 作空 问 增 强 层 的 一 个 特 例 )为 抽 取 单 图 1 SVC视 频 数槲 流 MIMO 无线 环境 传 输 系 统 基 本绱 构 ： ≥i 位 ，而 同 一 卒 问增 强层 中 的 所有 时 、质苗 增 强 层 被 、、 信 输 }{J到 同一 个 子 数 据 流 【}j，也 就 是 说 所 有 DID 相 同 ： 堪 的s e NAL Unit被抽取到蚓一个子数据流中?为 l『抽 取 DID 为 i的 空 问增 强 层 ，图 2中 描 述 的 抽 取 算 法 如 下 ： 1)读 取 源 数据 流 ，在 scalability—info SEI中 取 得 2 SVC可分 级 编 码 技 术 介 绍 DID等 于 i的最 大 町 分级 层 的 LayerID i H．264／SVC创 建 綦 十层 次 结 构 的 视 频 数 据 流 ，包 含一 个 基 奉 层 (Base La~er)和 一 个 或 多 个 增 强 层 (Enhancement Layer)。每个增强层用 于提高空间或时 间分辨 率或者视频 质 量 ，增 强 层 必 须 依 赖 基 本 层 以 及 比它 低 的 增 强 层 巾 的 数 据 才 能 被 正 确 解 码 = H．264／SVC 的 可 分 级 性 是 指 数 据 流 ·Il的 一 部 分 数 据 可 以 被移 除 以满 足 小 同 的终 端 用 以 及网 络 条 件 的 要 求 。 H．264／SVC提 供 了 空 问 、时 间 、质 量 i个 层 次 的 町 分 2)将 scalability—info SEI中 Layerl1)≤i的所 有 町分 级 层 的 相关 信 息 写 入 新 建 的 sealability—info SEI中 ，并 目．将 它 的 Hum— layers— minusl字 段设 为 J一1．将 新 的 sealability—info SEI复 制 剑输 出数 据 流 。 3)根 据 scalability—info SEI中 的信 息 ，将 LaverID≤J的 所 有 町分级层解码所依赖的 SPS、Subset SPS、PPS复制 到输 出数 据 流 中 4)读 取 子 序 列 ，将 开 头 的 sub—seq infi)SEI复 制 到 输 【叶J数 级 性 。 空 问 町分 级 性 指 的是 将 数 据 流 所 支 持 的 不 同空 问 分辨 据 流 中 ： 率 编 码 到 不 同 的 空 问 增 强 层 中 ，每 个 守 fHj层 使 用 不 吲 的 Dependency ID(DID)进 行 标 识 。 在 H．264／SVC中 的 时 l’日J可 分 级性 是 由 分等 级 的 B一帧 (Hierarchical B—pictures)的方 式 实 现 ，每 个 独 立 的 时 间 增 强 层 巾 Temporal ID( rID)来 标 识 粗 牲 度质 量 可分 级 编 码 (CGS)的质 芾 可 分 级 性被 看 作 审 问 町分 级性 的特 例，它 的哽 鞋增 强层 基 本层拥 仃相 的审问分辨 率 ，每 个 CGS层 拥 仃 白已 的 DID 中粒 度 可 分 级 编 码 (MGS) 的质 量 Ⅱ丁分级 性 提 高 r数 据 流 抽 取 的 灵 活 性 ，它 将 宏 块 }l的 变换 因子 (Transform Coefficients)细 化 分 割 成 多 个 喷 餐 层 ，每 个 质量 层 南 一个独 的 Quality ID(QID)昕标 识 Lj H．264／ AVC相 同 ，已编 码 的 sVc}见频 数 据 被 组 织 住 称 为 网 络 抽 象 层 单元 (NAI Unit)的 数 据 包 【ll，具 有 相 同 的 DID、TID、QID 的 NAL Unit被 称 为 处 于 同 一可分 级 层 (Sealable Lay'er)IfI 3 SVC数据 流 抽 取 算 法 svc数 据 流 头 【f1的 第 一 个 NAL Unit为 sealabilitv intb SEI(Supplemental Enhancement Informatiol1)message。它 包 含 厂此 SVC数 据 流 中昕 仃可 分 级 层 的 各 种 信 息 ，每 个 呵分 级 层 对 应 个 从 0丁F始 递 增 的 Layer ID，Burn— layers— minusl字 段 指 该 数据 流所 包 含 的 Scalable Layer的 总 数 减 1的 值 。 对 于 每 一 个 町分级 层 ，scalability—info SEI中 包 含 该 可 分 级 层 所 对 应的 DID、TID、QID值 ，它对腑 的 比特 率 、帧 率 、宽 高分 辨率 ， 以及 解码 该 可分 级 层 所 依 赖 的 SPS、Subset SPS、PPS的 ID号 。 除 此 之 外 ，SVC 数 据 流 头 中 还 包 括 一 组 Sequence Parameter Set(SPS)、Subset Sequence Parameter Set(subset SPS)、Pieture 5)如 果 i=0，将 Prefix N^I Unit以 及 紧 接 的 基 本 层 (DID=0)的 Slice NAL Unit复 制 到 输 出 数据 流 中 。 6)如果 i≠O，将所有 DID=i的 Slice NAL Unit按 顺序复 制到输出数据流巾 ，然后跳转到 4)直到源数据流结束 增强层 数据 流 SVC数据 流 基本 层数据 流 scalabili~ i SEI · scala'fftlity info~ i卜 lsc lbi ” 咖 El ll ： ’ SPS SPS l麓 诤悄 秘 渤慧 ” 鼍 ● SPS SPS 蘸SrS：ii!iiiiiiii!iii!! ，{ ： t SPS tI 豳 霞 ¨I i 0 醢b随醛Sl 撕 0 ／ 圈麓 溺藤 ÷ 瀚 豳躐 鞠 圈 ÷ I sub seq．_infoSEI sub_seq_info SEI -q sub_seq~nfoSEI I L(D1，T0，Q0) PrefixNALUnit —+l PrefixNALUnit L(D0．T《)．Qo1 — L(D0， l1{1，Q0) ． L(D1，TO，Qo) Sub Sequence T V 1 『 Sub seq_ irffoSEI L(Dl，T1，QO) L(D1，T2，Qo) L(D1，T2，Qo) sub_ seq_infoSEI +l sub—seq_jnf0 SEI PrefixNALUnit - + j PrefixNALUnit L(D0，T1，Qo) 一 -q L(DO，T1，QO) L(D1，T1，Qo) 、 L(D1 ，T2，Qo) ＼ L(DI ，T2，Qo) 图 2 SVC数 据 流 结 卡勾及 其抽 取 过 程 4 SVC数 据 流 重 组 算 法 Parameter Set(PPS)，它 仃J被 荩 奉 层 和增 强 层 Il包 含 视 频 数 据 根据终端设 备支持 的空间分辨率 、质最等需求 ，在 多个数 的 Slice NAL Unit引 用 以提 供 解 码 所需 的参 数 信 息 ，每 个 据 流 的 sealability—intb SEI中查 找 埘 应 的 DID=i的 空 问 增 强 Parameter Set拥 台 自己 的 ID号 ． 层子 数 据 流 ．为 了 重组 空 增 强 层 (DID =i)及 其 解 码 所 依 赖 每 个 子序 列 由 一个 sub—seq—info SEI message玎始 ，它 的 的基 本 层 (DID =0)和 比它 低 层 次 的 问增 强层 (0

第 12期 杨 金 等 ：MIMO 系统 中的 H．264／SVC数 据流抽 取 和 重组 算 法 3309 子 数 据 流 ，图 3中 描 述 的 重 组 算 法 如 下 ： 同 时 可 以看 出基 本 层 的 重 组 不 依 赖 于 其 他 数 据 流 ，通 过 天 线 1)读 取 DID=i的 空 问 增 强 层 子 数 据 流 ，将 它 的数 据 流 头 选择算法等技术提 高基 本层 的传输 质量 ，可 以有效地提 高视 中 的 scalability—info SEI、SPS、Subset SPS和 PPS复 制 到输 出 数 频传输可靠性 。 据 流 中 。 2)读 取 DID=i的 卒 间 增 强 层 子 数 据 流 的子 序 列 ，从 子 序 列 开头 的 sub—seq—info SEI中读 取 sub～seq—layer—nunl字 段 的 值 为 x，sub—seq—id字 段 的值 为 Y，并将 该 SEI复 制 到 输 出数 据 流 中 。 3)在 基 本 层 (DID =0) 子 数 据 流 中 读 取 sub—seq—layer— FlUm =x和 sub—seq—id=Y的 子 序 列 ，将 Prefix NAL Unit以及 紧接 的基 本 层 (DID =0)的 Slice NAL Unit复 制 到 输 出 数 据 流 中 。 4)以 DID从低 到高顺序在所 有空间增强层 (0