ZYNQ MPSOC VCU介绍-平芜编程栈

关注、星标公众号，精彩内容每日送达 来源：网络素材

1 什么是VCU?

VCU 的全称是Video Codec Unit，即视频编解码单元， Zynq UltraScale+ MPSoC 系列产品分为三种类型，分别是 CG 型器件、 EG 型器件和 EV 型器件，其中只有 EV 型器件集成了 VCU。 VCU 适用于视频监控和网络视频连接应用，这些应用包括视频会议、嵌入式视觉、生物医学仪器等。
它是一个专用的、硬化的硬件IP核，集成在 Zynq UltraScale+ MPSoC 的 PL 端。它的核心任务是高效地完成视频的编码和解码。
编码：将原始视频数据压缩成标准格式的视频流，以节省存储空间和传输带宽。
解码：将压缩后的视频流解压缩，还原成可以显示或进一步处理的原始视频数据。
由于其是硬件实现的，VCU 在完成这些任务时，具有高性能、低延迟、低功耗的特点，远胜于使用可编程逻辑或处理器软件实现的方式。

2 VCU 的核心特性与性能

VCU 的性能非常强悍，主要支持最流行的现代视频编码标准。
支持的编解码标准：
H.264 / AVC
H.265 / HEVC
主要性能指标：
分辨率与帧率：最高支持 4Kp60 的实时编解码。对于某些较低分辨率或特定配置，甚至可以支持到 4Kp120。
编码能力：
同时进行 1 路 4Kp60 的 H.264 和 H.265 编码。
或者同时进行 2 路 4Kp30 的 H.264 和 H.265 编码。
解码能力：
同时进行 2 路 4Kp60 的 H.264 和 H.265 解码。
色度采样：支持 4:2:0 和 4:2:2 格式。
位深度：支持 8 位和 10 位。

由上图可知， VCU 拥有独立的视频编码单元（Encoder）和解码单元（Decoder），每个单元受微控制器单元（MCU）控制， MCU 控制来自 AXI 接口的待编码或解码的数据流。 APU 向解码器或编码器 MCU 单元发出命令，用于在编码时处理每一帧或在解码时处理每个片或块。需要注意的是， VCU 不支持对音频编解码，音频编码和解码可以在软件中使用 PS 或通过软 IP 在 PL 中完成。

3 VCU IP核接口

4 VCU内部介绍

视频编码器（Encoder）

由上图可知， VCU 编码器包含四个相互连接的 HEVC/AVC 编码器（HEVC/AVC encoder core0~3），它还包含全局的寄存器（Global Registers）、中断控制器（Interrupt controller）和定时器（Timer）。系统 CPU通过 AXI-Lite 从接口控制 MCU（配置编码器参数），从而配置编码器单元或启停编码操作。图中两个 128位的 AXI4 主接口用于接收视频输入数据，并将视频存储到系统内存中。两个 32 位的 AXI4 主接口用于获取 MCU 软件（指令缓存）和加载/存储额外的 MCU 数据（数据缓存接口）。 VCU 内还有其他接口，用于在需要时连接编码器到 PL BRAM 或 UltraRAM 块。
视频解码器（Decoder）

由上图可知，视频解码器单元的运行架构与编码器单元类似， VCU 解码器包括两个相互连接的HEVC/AVC 解码器（HEVC/H.264 Decoder core0~1），它还包含全局的寄存器（Global Registers）、中断控制器（Interrupt controller）和定时器（Timer）。系统 CPU 通过 AXI-Lite 从接口控制 MCU（配置解码器参数），从而配置解码器单元或启停解码操作。图中两个 128 位的 AXI4 主接口用于接收视频输入数据，并将视频存储到系统内存中。两个 32 位的 AXI4 主接口用于获取 MCU 软件（指令缓存）和加载/存储额外的MCU 数据（数据缓存接口）。
微控制单元（MCU）
编码器和解码器块各自包含一个 32 位 MCU 来处理与硬件块的交互。 MCU 接收来自 APU 的命令，将命令解析为多个 Slice 或块级命令，并在编码器和解码器块上执行它们。执行命令后， MCU 将状态信息传递给 APU，重复执行该过程。

5 H.264和H.265介绍

H.264 / AVC- 多面手与行业标杆
名称： H.264，也称为高级视频编码。
诞生时间： 2003年。
地位：过去近20年来最成功、应用最广泛的视频编解码标准，可以说是“行业的通用语言”。
主要技术特点：
宏块： H.264 将视频帧分割成一个个 16x16 像素的“宏块”来进行处理。这是其压缩的基本单位。
帧内预测和帧间预测：
帧内预测：在同一帧图像内，利用相邻像素的冗余信息进行压缩。
帧间预测：利用视频在时间上的连贯性，通过运动估计和运动补偿技术，只存储相邻帧之间变化的部分，大大减少了数据量。
熵编码：主要使用 CABAC，一种非常高效的无损压缩算法，能进一步榨干数据冗余。
H.265 / HEVC- 高效继承者
名称： H.265，也称为高效视频编码。
诞生时间： 2013年。
核心目标：在保持与 H.264 相同主观视频质量的前提下，将压缩效率提高一倍。这意味着文件大小可以减少约50%。
主要技术特点（与H.264的主要区别）：
编码树单元：这是最关键的改进。H.265 不再使用固定的 16x16 宏块，而是使用更灵活的 CTU，大小可以从 64x64 到 8x8 像素不等。编码器可以根据视频内容的复杂程度，自适应地将 CTU 分割成不同大小的块进行编码。
对于平坦区域（如天空）：使用大块编码，效率高。
对于复杂细节区域（如树叶）：使用小块编码，保留细节。
这种灵活性是其高效率的核心来源。
更先进的预测模式：
帧内预测的方向从 H.264 的 9 种增加到了 35 种，使得预测更精确。
帧间预测支持更多的运动分割和更精确的运动矢量。
更高效的熵编码：使用 CABAC 的增强版。

6 VCU应用

VCU 核是位于 PL 中的专用电路，可为各种用例提供最大的灵活性，而内存带宽是一个关键的驱动因素。无论应用是需要同时对 4K UHD @60Hz 的编码和解码进行处理，还是需要对单个 SD 流进行处理，都可以实现系统设计和存储器拓扑结构，从而达到特定用例在性能、最优化和集成方面的平衡。在下图显示的示例中， VCU 核与 PS 和 PL DDR 外部存储器一起工作。

7 VCU学习

Xilinx 官方文档： H.264/H.265 Video Codec Unit Solutions（PG252）
Xilinx 官方文档： Zynq UltraScale+ MPSoC 嵌入式设计方法指南（UG1228）
Xilinx 官方文档： Multimedia User Guide（UG1449）
Zynq UltraScale+ MPSoC VCU TRD（针对性参考设计）：
https://xilinxwiki.atlassian.net/wiki/spaces/A/pages/1010303044/Zynq+UltraScale+MPSoC+VCU+TRD+2020.2