H.265/HEVC 简述 第二课（数字视频格式）

前言

本系列博客是对H.265/HEVC视频编码进行一个简单的介绍，主要介绍大致的编码框架和流程，不涉及算法和公式的详细推导与证明过程，适用于刚接触视频编码与H.265/HEVC的新手玩家。
我的参考书籍是万帅、杨付正所编著的《新一代高效视频编码 H.265/HEVC：原理、标准与实现》。这本书的电子版存放在我的百度网盘，大家可以自行取用。
链接：https://pan.baidu.com/s/1zhczlcI1wNB3pIR9ehMq4Q
百度网盘-《H.265》电子版
提取码：prbb

本篇博客是该系列博客的第二篇博客，主要是讲解一些数字视频的一些基本知识，例如表示形式，格式等，还有H.265/HEVC标准中支持的视频格式。

系列博客的链接：
1、H.265/HEVC 简述 第一课（绪论）

数字视频

视频由许多幅按时间排列的连续图像组成，每幅完整图像称为一帧。由于视觉暂留机理，当连续播放图像每秒超过24帧以上时，人眼无法辨别单幅的静态画面，图像序列看上去是平滑连续的视觉效果，这样连续的画面叫做视频。
数字视频就是以数字形式记录的视频，数字视频由一幅幅数字图像组成，每幅图像由N行、每行M个像素组成，每个像素由数字化的数值表示。
数字视频有时间分辨率、空间分辨率、色彩空间、量化深度等参数，这些参数的组合称为视频格式。时间分辨率的单位为每秒图像的帧数，即帧率。帧率越高，视频的流程性越好，但帧率到达一定值后，人眼也就无法再看出差别，所有不用追求特别高的帧率。空间分辨率指的是图像的像素行数和每行的像素数，空间分辨率越高，图像的细节越清晰，常见的高清视频的空间分辨率是1920 * 1080。色彩空间，或称为颜色空间，是描述像素颜色的形式，其目的是使用某些标准方式对彩色加以说明，一个彩色像素通常由三种分量描述，在视频压缩中常用的是RGB、YUV、YCbCr色彩空间。而像素每一个分量的数值所对应的量化等级为量化深度，量化深度越大，像素值越精确，例如传统的图像每个颜色空间分量用8比特来表示像素值，就有256个灰度等级。

数字视频格式

在数字视频采集的过程中，可以采用两种不同的采集方法：第一种是对亮度和色度信号采用相同的空间采样频率进行采样，第二种是对色度信号使用的空间采样频率比对亮度信号使用的空间采样频率低，这种采样方式就称为色度亚采样。之所以可以使用色度亚采样，是因为人眼对于色度信号的敏感程度比亮度信号低，利用该特性就可以把图像中的一些色度信息去掉而不会被人所察觉。

在YCbCr色彩空间中，Y代表明亮度，Cb代表RGB输入信号蓝色部分与信号亮度值之间的差异，Cr代表RGB输入信号红色部分与信号亮度值之间的差异。在该色彩空间中主要有四种采样格式，分别是4：4：4、4：2：2、4：1：1、4：2：0，它们的位置示意图如下所示。

其中红色小圆圈代表亮度样本Y，而蓝色小三角代表色差样本Cb与Cr。位置示意图的原理类似，这里只讲解一下4：2：0的YCbCr采样格式。在这种采样格式下，在水平和垂直方向上都对色度分量进行了2:1的抽样，即每4个Y样本对应一个Cb样本和一个Cr样本。而0代表着这两种色差样本在传输时是每行交替进行的，即每一行传输时只传输两个色差样本中的一个。在这种格式中，色度分量在水平和垂直方向上的分辨率均是亮度分量的1/2。

H.265/HEVC编码视频格式

不同格式的视频源经过前处理模块转化为统一的数据格式，编解码器只需要应对少量几种统一的视频数据格式，解码后的视频再经过后处理模块转化为和视频源格式一致的恢复视频。视频通信的原理框图如下所示：

我们称编码器的输入视频为编码视频，其具有的格式信息被称为编码视频格式。不同格式的编码视频采用较统一的数据结构。解码器输出视频被称为解码视频，其具有的格式信息被称为解码视频格式。
编码视频采用统一的多级数据结构：
（1）编码视频为按顺序排列的图像序列。
（2）图像为一个或多个长方形采样矩阵，每个矩阵对应亮度或色度分量。
（3）像素对应矩阵的元素，元素值为像素的取值，元素的行列坐标代表像素的空间位置。
编码视频格式主要包括编码图像格式，编码图像格式主要包括矩阵数量，空间关系，图像空间分辨率，像素量化深度等。这些语法元素属于序列参数集（SPS）。H.265/HEVC仅规定了四类编码图像格式，每类对应不同的矩阵数量和相应的色度分量。
1、仅仅包含采样矩阵Y
2、一个亮度分量加两个色度分量（YCbCr或YCgCo）
3、三个色度采样矩阵（RGB）
4、其他未指定单色或三激励彩色空间采样矩阵

解码视频格式中不仅仅有编码视频格式，还有扫描类型、图像类型、色彩空间等。

扫描类型是指图像是逐行扫描还是隔行扫描，逐行扫描方式是将每帧的所有画面同时显示，隔行扫描方式是每一帧被分割为两场画面交替显示，分为顶场和底场。
图像类型是指图像中像素的空间结构，如图像是逐行扫描的帧还是隔行扫描的顶场。
采样宽高比是表示像素宽度和高度的比值，结合图像的空间分辨率就可以得到图像显示时的宽高比。
过扫描是指显示器输入图像的边缘附近部分像素在显示屏上不可见。
视频格式就是视频的编码方式。
像素值特性就是指像素中的颜色，该颜色由亮度与色度共同表示。