logo资料库

avs avs2 学习笔记.docx

第1页 / 共16页
第2页 / 共16页
第3页 / 共16页
第4页 / 共16页
第5页 / 共16页
第6页 / 共16页
第7页 / 共16页
第8页 / 共16页
资料共16页,剩余部分请下载后查看
AVS2标准简介
AVS工作组
第一代AVS标准
第二代AVS标准
AVS2产业应用
(1)超高清晰度视频广播
(2)互联网图像与视频
(3)芯片+专业编码器
未来展望
AVS2技术
1.灵活的编码结构划分
2.帧内预测编码
3.帧间预测编码
3.1 参考帧管理
3.2帧间预测模式
3.3 插值滤波
4. 变换
5.熵编码
6.环路滤波
7.编码性能
什么是AVS2
简史(AVS)
AVS2 标准简介 AVS 工作组 说到 AVS 系列标准,就不得不先提一下 AVS 工作组。AVS 工作组是数字音视频编解码技 术标准工作组的简称,由国家原信息产业部科学技术司于 2002 年 6 月批准成立。工作组的 任务是面向我国的信息产业需求,联合国内企业和科研机构,制(修)订数字音视频的压缩、 解压缩、处理和表示等共性技术标准,为数字音视频设备与系统提供高效经济的编解码技术, 服务于高分辨率数字广播、高密度激光数字存储媒体、无线宽带多媒体通讯、互联网宽带流 媒体等重大信息产业应用(摘自 AVS 工作组官网)。 AVS 工作组目前有来自于高校、企业、科研机构的 81 家会员单位,由中国工程院院士、 北京大学教授、博导、国家自然科学基金委员会副主任高文老师任组长,下设需求组、系统 组、视频组、音频组、测试组、知识产权组等部门。自成立以来,AVS 工作组坚持按照国际 开放式规则制定 AVS 系列标准。目前已完成两代 AVS 标准的制定。 第一代 AVS 标准 第一代 AVS 标准包括国家标准《信息技术 先进音视频编码 第 2 部分:视频》(简称 AVS1,国标号:GB/T 20090.2-2006)和《信息技术 先进音视频编码 第 16 部分:广播电 视视频》(简称 AVS+,国标号:GB/T 20090.16-2016)。国家广电总局广播电视规划院主持 的 AVS 视频标准测试显示:AVS1 码率为 MPEG-2 标准的一半时,无论是标准清晰度还是高 清晰度,编码质量都达到优秀,码率不到三分之一时,也达到良好到优秀的水平。AVS1 标 准视频部分于 2006 年 2 月颁布为国家标准。 2007 年 5 月 7 日-11 日,国际电信联盟(ITU-T)IPTV FG 第四次会议明确 AVS1 成为与 MPEG-2、H.264、VC-1 并列的可供 IPTV 选择的标准之一。2013 年 6 月 4 日,AVS1 视频部分 由国际电子信息领域影响最大的学术组织 IEEE(美国电气和电子工程师协会)出版,标准号 为 IEEE1857-2013,标志着 AVS 系列标准在国际化的道路上迈出了重要一步。 AVS+是国家广播电影电视总局于 2012 年 7 月 10 日颁布的广播电影电视行业标准 GY/T 257.1-2012《广播电视先进音视频编解码 第 1 部分:视频》,也是 AVS1 的增强版,在压缩 效率上与国际同类标准 H.264/AVC 最高档次(High Profile)相当。2013 年 1 月 18 日,时任 中共中央政治局常委、国务院副总理李克强在 2012 年度国家科学技术奖励大会上宣布“数字
视频编解码技术国家标准 AVS 与产业应用”获得国家科学技术进步二等奖。 2013 年 3 月 18 日,中央电视台采用 AVS+标准的 3D 节目上星进行开路试验播出。同日, 中古哈瓦那数字电视示范区建设竣工仪式在古巴首都哈瓦那举行,采用中国 AVS 标准的数 字电视正式落户古巴。迄今为止,中国 AVS 标准已经在斯里兰卡、老挝、泰国和吉尔吉斯 斯坦等国落地,全球已有上千套使用 AVS+编码的高清内容上星播出。 第二代 AVS 标准 2008 年 12 月起,AVS 工作组开展新一代标准的需求分析,为下一代 AVS 标准(简称 AVS2) 确定了制定目标:在主流技术可实现的前提下,当重建视频主观质量相同时,至少在高清或 更高分辨率下编码效率比 AVS1 的最好性能提高一倍以上;在主流配置下,编码效率优于最 新的国际标准(摘自 AVS 工作组提案 N1924)。 经过 14 次工作组全体会议、1 次视频组加会、3 次视频部分标准文本编辑会议,AVS 工 作组审议了收到的 600 余项技术提案,采纳 189 项,于 2016 年 2 月形成标准送审稿。2016 年 5 月,AVS2 被国家新闻出版广电总局颁布为广电行业标准《高效音视频编码 第 1 部分: 视频》(行标号:GY/T 299.1-2016)。同年 12 月,AVS2 被国家质检总局和国家标准委颁布 为国家标准《信息技术 高效多媒体编码 第 2 部分:视频》(国标号: GB/T 33475.2-2016)。 目前已提交 IEEE 国际标准(标准号:IEEE1857.4)申请。 AVS2 首要应用目标是超高清晰度视频,支持超高分辨率(4K 以上)、高动态范围视频 的高效压缩。测试结果表明:在数字电视广播(逐行)、实时通信和数字电影或静态图像领 域,AVS2 和 HEVC 的编码性能相似,但在数字电视广播(隔行)和视频监控的应用方面,AVS2 的编码性能要明显高于 HEVC。 AVS2 标准的编码效率比 AVS1 提高了一倍,与同期国际标准相当,在场景编码领域比同 期国际标准效率高了一倍,为我国视频产业发展创造了先机。 AVS2 产业应用 (1)超高清晰度视频广播 国家新闻出版广电总局和工业和信息化部“AVS 技术应用联合推进工作组”已经确定 AVS2 首先应用于 OTT 超高清视频服务,2017 年进行超高清电视广播试验,2018 年用于“世
界杯”超高清转播。 (2)互联网图像与视频 在中国网络电视台(CNTV)的统一组织下,AVS2 网络电视直播解决方案已在 CNTV 的 CDN 和 P2P 直播平台上完成搭建和测试,并在里约奥运会开始前正式上线,对部分奥运赛 事进行了网络直播。 腾讯音视频实验室基于 AVS2 内核自主研发了一种新的图片编码格式 TPG,大大提高了 图片的压缩率。据腾讯音视频实验室提供的测试数据,TPG 与 JPG/JPEG、PNG、GIF 等常见 图片格式在同等质量图片的前提下对比,TPG 图片的体积比 PNG 小 50%以上,比 GIF 小 90% 以上,比 JPG/JPEG 小 40%以上。相对 Google 推出的 WEBP 格式,文件大小可以减少近 30%。 (3)芯片+专业编码器 北京大学深圳研究生院数字媒体研究中心研制成功首款基于 AVS2 标准的高清实时编码 器 uAVS2,性能大幅超越 HEVC/H.265 编码器 x265,为 AVS2 标准进入产业应用扫清了技术 障碍。随后 AVS2 超高清实时视频编码器和移动高清编码器也相继推出。 华为海思推出业界首颗支持 AVS2.0 的全 4K 芯片 Hi3796MV200,CPU 处理能力达到 4 核 1.6GHz,28nm 工艺,助跑广电进入全 4K 时代。 数码视讯开发出 AVS2 超高清专业级编转码器,具有分布式架构、异构协处理、全特性 AVS2、统计复用、真 4K 和虚拟云计算六大技术特点。 柯维新和上海国茂等企业正在开发广播级的 AVS2 超高清实时编码器,东华广信预计今 年也将推出 AVS2 系列产品。 未来展望 我国具有自主知识产权的 AVS 标准从无到有,从跟随国际标准到现在的领先和超越, 正在一步步成长。目前,AVS 工作组已经启动下一代编码标准 AVS3 的制定。AVS3 将结合云 计算时代的现状和需求,利用云计算的能力,实现更高效的编码。 除此之外,AVS 工作组在国际音视频产业论坛暨 AVS 标准 15 周年年会宣布我国将制定虚拟 现实(VR)系列国家标准和国际标准,同时启动有关人工智能相关标准的研究和制定工作。
AVS 工作组正加快步伐,多面开花,相信凭借着国际领先的思路和势如破竹的动力,AVS 标 准将取得新的突破,为我国具有自主知识产权标准的发展添上浓重的一笔! AVS2 技术 AVS2 采用了混合编码框架,整个编码过程包括帧内预测、帧间预测、变换量化、反量化反变换、环路滤波和熵 编码等模块。具有如下技术特征: 图 1 AVS2 编码框架 1.灵活的编码结构划分 为了满足高清和超高清分辨率视频对压缩效率的要求,AVS2 采用了基于四叉树的块划分结构,包括编码单元 (Coding Unit,CU)、预测单元(Prediction Unit,PU)和变换单元(Transform Unit,TU)。一幅图像被分割成 固定大小的最大编码单元(LCU),最大编码单元按照四叉树的方式迭代划分为一系列的 CU。每个 CU 包含一个亮度 编码块和两个对应的色度编码块(下文中块单元的大小指亮度编码块)。与传统的宏块相比,基于四叉树的划分结构更 加灵活,CU 大小从 8×8 扩展到 64×64。 图 2 原始图像、LCU 和 CU 之间的关系以及四叉树的划分结构。
预测单元 PU 规定了 CU 的所有预测模式,是进行预测的基本单元,包括帧内和帧间预测。PU 的最大尺寸不能超 过当前所属 CU。在 AVS1 正方形帧内预测块的基础上,增加了非正方形的帧内预测块划分,同时,帧间预测也在对称 预测块划分的基础上,增加了 4 种非对称的划分方式。 图 3 帧内和帧间预测单元划分方式 除了 CU 和 PU,AVS2 还定义了用于预测残差变换和量化的变换单元 TU。 TU 是变换和量化的基本单元,与 PU 一样,定义在 CU 之中。其尺寸的选择与对应的 PU 形状有关,如果当前 CU 被划分为非方形 PU,那么对应的 TU 将使用非方形的划分;否则,使用方形的划分类型。需要注意的是 TU 的尺寸可以 大于 PU 的尺寸,但不能超过所在的 CU 尺寸。 2.帧内预测编码 相比于 AVS1 和 H.264/AVC,AVS2 在亮度块的帧内预测编码上设计了 33 种模式,包括 DC 预测模式、Plane 预测模式、Bilinear 预测模式和 30 种角度预测模式。 在色度块上有 5 种模式:DC 模式、水平预测模式、垂直预测模式、双线性插值模式以及新增的亮度导出(Derived mode, DM)模式。
图 4 亮度块帧内预测模式 3.帧间预测编码 AVS2 的帧间预测技术在参考帧管理、帧间预测模式和插值方面进行了加强和创新。 3.1 参考帧管理 AVS1 相比,AVS2 将候选参考帧的最大数量增加到了 4 个,以适应多层次的参考帧管理, 同时也充分利用了缓存器的冗余空间。 由于参考候选帧数量的限制,选出最相近的候选参考帧就显得至关重要。为了满足多种 参考帧管理方式的要求,AVS2 采用了一种多层次的参考帧管理模式。在这个模式中,根据 帧与帧之间的参考关系和每个编码图像组(GOP)中的帧被分成了多个层次。图 5 展示了三 种典型的参考关系和分类,每一层有独特的处理方式,如图 6 所示。Layer 1 和 layer 2 的区 别在于输出方式上。
图 5 三种典型的参考关系和分类 图 6 每层参考帧独特的处理方式 3.2 帧间预测模式 在 AVS1 的 I,P,B 三种图像类型的基础上,根据应用需求,AVS2 增加了前向多假设预测 F 图像。 针对视频监控、情景剧等特定的应用,AVS2 设计了场景帧(G 图像和 GB 图像)和参考场景帧 S 帧。 对于 B 帧,除了传统的前向、后向、双向和 skip/direct 模式,新增了对称模式。在对称 模式中,仅需对前向运动矢量进行编码,后向运动矢量通过前向运动矢量推导得到。为了充 分发挥 B 帧 skip/direct 模式的性能,AVS2 在保留原有 B 帧 skip/direct 模式的前提下,还采
用了多方向 skip/direct 模式:双向 skip/direct 模式、对称 skip/direct 模式、后向 skip/direct 模式和前向 skip/direct 模式。对于这四种特殊模式,根据当前块的预测模式寻找相邻块中相 同的预测模式块,将最先找到的具有相同预测模式的相邻块的运动矢量作为当前块的运动矢 量。 对于 F 帧,编码块可以参考前向两个参考块,相当于 P 帧的双假设预测。AVS2 将双假 设预测分为两类,分别是时域双假设和空域双假设。时域双假设的当前编码块利用预测块加 权平均作为当前块的预测值,但运动矢量差 MVD 和参考图像索引都只有一个,另外一个 MVD 和参考图像索引根据时域上的距离按线性缩放推导出来。而空域双假设预测也叫方向 性多假设预测(Directional multi-hypothesis prediction,DMH),通过融合初始预测点周围的 两个预测点得到,而且初始预测点位于这两个预测点的连线上。除了初始预测点外,一共有 8 个预测点,只将和初始预测点连成同一条直线的两个预测点进行融合。除了四种不同的方 向外,还根据距离进行调整,对 1/2 像素距离和 1/4 像素距离位置的 4 种模式分别计算,在 加上初始预测点,共 9 种模式进行比较,选择出最佳预测模式。 场景帧是 AVS2 基于背景建模的监控视频编码方法提出来的。未打开监控工具时,I 帧只给 下个随机访问点之前的图像做参考。打开监控工具后,AVS2 会用视频中的某一帧做场景图 像 G 帧,G 帧对于后面的图像可以作为长期参考。此外,AVS2 还可以用视频中的某几帧生 成场景图像 GB 帧,GB 帧也可以用作长期参考。 图 7 时域的双假设预测
分享到:
收藏