FPGA处理图像需要用到的主流接口详解

FPGA在视频领域的接口选型围绕**“采集→内部处理→输出/传输”** 全链路展开，
高频接口高度聚焦在视频采集、显示输出、片内/片间互联、远距离传输四大维度，其中AXI-Stream（片内核心）、HDMI（显示输出第一）、MIPI CSI-2（图像采集第一）、LVDS（工业采集主流）、以太网（视频传输核心）是使用频率最高的五类，覆盖消费、工业、车载、边缘计算等90%以上的视频应用场景；DP、PCIe、SATA为次核心高频接口，适配超高清、高速互联、视频存储等需求。

以下按**“核心高频（必掌握）+ 次核心常用（重点了解）+ 传统入门（小众）”** 分级，结合FPGA视频处理的实际工程场景，讲清各接口的核心应用、FPGA实现要点、主流参数，贴合硬件设计和开发需求：

一、核心高频接口（视频领域90%场景必用，FPGA工程师必掌握）

这类接口是FPGA视频处理的基础链路核心，厂商均提供硬核IP/成熟软核，开发板生态完善，资料最全，是入门和工程落地的首选。

1. AXI-Stream（AXI4-Stream）—— FPGA视频处理的内部/片间总线核心

无替代的第一高频，不是物理层接口，而是FPGA片内逻辑间、FPGA与外设间传输视频流的标准协议总线，所有视频采集/处理/输出接口最终都会适配为AXI-Stream流数据在FPGA内部流转，是视频链路的“中枢神经”。

• 核心应用：FPGA内部（如MIPI采集→ISP处理→HDMI输出）的视频流传输、多FPGA板间的视频数据交互、FPGA与ARM/DSP的片间视频传输（如Zynq异构SoC）。
• 适配视频特性：专为连续流式数据设计，无地址线，仅含数据、有效、同步信号，完美匹配视频“逐行/逐像素连续传输”的特点，支持任意分辨率、帧率的视频流。
• FPGA实现要点：
  1. 所有视频IP核（HDMI/TX、MIPI CSI-2、ISP、编解码）均原生支持AXI-Stream接口，直接例化即可对接，无需额外适配；
  2. 自定义视频处理逻辑（如滤波、裁剪）需按AXI-Stream协议编写，核心信号为TDATA（视频像素数据）、TVALID（数据有效）、TREADY（接收端就绪）、TUSER/TLAST（帧/行同步）；
  3. 支持位宽定制（如8/10/12位，匹配色彩深度）、多像素并行（如32位位宽同时传输4个8位像素），提升传输吞吐量。
• 主流配套：搭配AXI-Lite实现IP核的配置控制（如分辨率、帧率设置），形成“AXI-Lite（控制）+ AXI-Stream（数据）”的标准视频处理架构。

2. HDMI（1.4/2.0/2.1）——显示输出第一接口

消费、工业、车载视频显示的绝对主流，从入门1080p到高端8K超高清全覆盖，是FPGA视频输出端的首选，也是之前重点讲解的核心接口。

• 核心应用：FPGA处理后的视频流直接驱动显示器/监视器（如工业视觉检测屏、车载中控屏、消费级显示器），支持音视频同步传输。
• 主流版本与参数：
  • HDMI 1.4：单通道5Gbps，支持1080p60/4K30，入门级FPGA软核即可实现（无高速收发器要求）；
  • HDMI 2.0：单通道14.4Gbps，支持4K60，需FPGA硬核高速收发器（GTX/GTH）；
  • HDMI 2.1：单通道16Gbps（总带宽48Gbps），支持4K120/8K60，需DSC压缩+GTY/GTM高速收发器（高端FPGA）。
• FPGA实现要点：
  1. 入门级（Artix-7、Cyclone V、ECP5）：普通IO+软核实现TMDS编码/解码，适合1080p60；
  2. 中高端（Zynq MPSoC、Kintex UltraScale、Arria 10）：厂商官方硬核HDMI IP核+高速收发器，稳定性高，资源占用少；
  3. 硬件设计：差分阻抗100Ω，走线等长误差<5mil，加TVS管做ESD保护。

3. MIPI CSI-2 ——图像/视频采集第一接口

消费级、车载级摄像头的标准采集接口，手机、车载环视摄像头、消费级高清摄像头均采用此接口，是FPGA从摄像头采集视频流的最主流选择。

• 核心应用：FPGA对接MIPI摄像头（如OV5640、OV9281、车载AR0231），采集高清视频流进行后续处理（如ISP增强、AI检测、编码传输）。
• 主流参数：支持1~4条差分lane，单lane速率1.5Gbps（v2.0）/2.5Gbps（v3.0），可实现1080p60/4K30的视频采集，支持8/10/12位色彩深度。
• FPGA实现要点：
  1. 厂商提供硬核MIPI CSI-2 IP核（如Xilinx MIPI CSI-2 RX IP、Lattice mVision ISP IP），直接例化即可，无需自研物理层；
  2. 入门级FPGA（Artix-7、CrossLink-NX）即可支持，Lattice CrossLink-NX专为MIPI视频设计，功耗低（<1W），适合车载/便携场景；
  3. 硬件设计：差分阻抗85Ω，时钟与数据lane的相位差控制在±10ps，靠近摄像头端加ESD保护。

4. LVDS ——工业视频采集主流接口

工业相机、工业视觉检测设备的核心采集接口，以高抗干扰性、高稳定性著称，适合工业现场的恶劣环境，是FPGA对接工业相机的首选。

• 核心应用：FPGA对接工业面阵/线阵相机（如Basler、海康威视工业相机），采集工业检测的高清视频流（如PCB检测、晶圆检测、机器视觉定位）。
• 主流参数：属于差分串行接口，单通道速率可达数百Mbps~数Gbps，支持单端/差分，可实现1080p60/4K30的工业视频采集，支持多通道并行传输。
• FPGA实现要点：
  1. FPGA普通高速IO即可实现，无需高速收发器，厂商提供LVDS接收/发送软核（如Xilinx IBUFDS/OBUFDS原语）；
  2. 硬件设计：差分阻抗100Ω，走线等长、远离强干扰源（如电源、时钟），工业场景需做隔离处理；
  3. 适配工业相机：支持Camera Link协议（基于LVDS的工业相机标准协议），FPGA可通过软核实现Camera Link接收。

5. 以太网（千兆/万兆）——视频传输核心接口

视频流远距离、多设备互联的绝对主流，从单路1080p视频流的千兆传输，到多路4K视频流的万兆传输，覆盖边缘计算、视频监控、多FPGA级联等场景。

• 核心应用：
  1. FPGA处理后的视频流通过以太网传输到服务器/上位机（如视频监控的图像回传、工业视觉的检测结果+视频流上传）；
  2. 多FPGA板间的视频流级联（如多路摄像头采集，多块FPGA分布式处理后通过以太网汇总）；
  3. 边缘计算场景下，FPGA作为视频加速卡，通过以太网与边缘服务器交互。
• 主流版本：千兆以太网（1Gbps）、万兆以太网（10Gbps），部分高端场景用25G/100G以太网。
• FPGA实现要点：
  1. 厂商提供硬核MAC+PHY IP核（如Xilinx Tri-Mode Ethernet MAC、Intel Ethernet IP），资源占用少，性能稳定；
  2. 支持UDP/IP、RTSP/RTP等视频传输协议，FPGA可通过软核实现协议栈，支持实时视频流传输；
  3. 千兆以太网可通过普通IO实现，万兆以太网需FPGA高速收发器（GTX/GTH）；
  4. 搭配TSN（时间敏感网络）协议，可实现车载/工业场景的视频流低延迟、同步传输。

二、次核心常用接口（适配超高清、高速互联、视频存储，高频次补充）

这类接口在超高清、高速主机互联、视频本地存储等场景中使用频率极高，是核心高频接口的重要补充，工程中常与核心接口搭配使用。

1. DisplayPort（DP）1.4/2.0 —— 超高清显示输出补充

与HDMI互补的超高清显示接口，工业高端显示、专业显示器的主流选择，比HDMI更适合高带宽、多屏拼接场景，FPGA端与HDMI共享部分硬件资源（高速收发器）。

• 核心优势：带宽更高（DP 1.4：32.4Gbps，支持8K60；DP 2.0：80Gbps），支持多屏拼接，协议更简洁，FPGA硬核IP核可同时支持HDMI+DP（兼容实现）。
• FPGA实现：与HDMI 2.0/2.1共用GTX/GTH/GTY高速收发器，厂商官方IP核（如Xilinx DisplayPort TX/RX IP）可直接配置为HDMI/DP双模，开发效率高。

2. PCIe 3.0/4.0 —— FPGA与主机的高速互联接口

FPGA作为视频加速卡时的核心互联接口，用于FPGA与x86/ARM主机之间的高速视频流传输（如FPGA做4K视频编解码加速，主机做视频调度/存储）。

• 核心应用：数据中心视频转码、边缘计算视频加速、上位机控制FPGA进行视频处理并回传高清视频流。
• 主流参数：PCIe 3.0（8Gbps/lane）、PCIe 4.0（16Gbps/lane），常用4/8lane，带宽可达32Gbps/64Gbps，支持多路4K视频流实时传输。
• FPGA实现：厂商提供硬核PCIe IP核（如Xilinx PCIe Gen4 IP、Intel Agilex PCIe IP），无需自研物理层，搭配AXI-Stream转PCIe桥接逻辑，实现视频流与主机的交互。

3. SATA 3.0 —— 视频本地存储接口

FPGA需要本地存储视频流时的主流选择（如视频监控的本地录像、工业视觉的检测视频存档），对接固态硬盘（SSD）/机械硬盘（HDD），实现视频流的高速写入/读取。

• 主流参数：SATA 3.0速率6Gbps，可满足4K60视频流的本地存储带宽要求。
• FPGA实现：厂商提供SATA硬核IP核（如Xilinx SATA IP），搭配AXI-Stream转SATA逻辑，实现视频流的块存储，适合无主机的独立FPGA视频系统。

三、传统入门接口（小众使用，仅入门学习/老旧设备适配）

这类接口目前工程场景极少使用，仅用于FPGA视频入门学习（无硬件成本）或老旧设备的适配，核心高频接口完全可替代。

1. VGA：模拟视频接口，仅支持1080p以下分辨率，抗干扰性差，FPGA通过普通IO生成模拟RGB信号实现，仅入门学习用；
2. DVI：HDMI的前身，纯数字视频接口，无音频传输，FPGA实现与HDMI 1.4兼容（同TMDS技术），仅老旧显示器适配用；
3. SDI：广电领域专用接口，支持远距离视频传输，FPGA需专用SDI IP核，仅广电/专业视频场景用，通用性低。

四、FPGA视频接口选型总表（按应用场景快速匹配）

为方便硬件设计和开发选型，按视频采集、显示输出、内部/片间互联、传输、存储五大链路，整理最主流的接口搭配，覆盖99%的工程场景：

核心总结

FPGA视频领域的接口使用规律：AXI-Stream是内部中枢，MIPI CSI-2/LVDS负责采集，HDMI负责显示，以太网负责传输，这五类是工程中使用最多、资料最全、生态最完善的核心接口，也是FPGA视频开发的必掌握内容；DP、PCIe、SATA为次核心，适配超高清、高速互联、本地存储的细分场景。

所有核心接口均有厂商官方IP核支持，无需自研底层物理层/协议层，开发时只需重点关注接口间的协议适配（如MIPI→AXI-Stream）、带宽匹配、时序同步三大要点即可。