mesa api指令流与着色器IR-平芜编程栈

Mesa 中，API 指令流是上层图形 API（OpenGL/Vulkan）到 GPU 硬件的控制与数据调度序列；着色器 IR是着色器源码到 GPU 机器码的编译中间层，二者共同构成 Mesa 渲染的核心链路。

核心概念区分

1. API 指令流（Command Stream）

定义：Mesa 将gl*/vk*API 调用翻译为 GPU 可解析的控制指令序列（如 AMD PM4、Intel MI、ARM CP），负责配置 GPU 状态、绑定资源、启动 Draw/Dispatch、同步执行。
本质：GPU 的 “控制流”，不参与计算，仅调度着色器与数据执行。
载体：Command Buffer（Vulkan）、Galliumpipe_context命令队列（OpenGL），最终通过 DRMdrmIoctl(DRM_IOCTL_SUBMIT)提交内核与硬件。

2. 着色器 IR（Shader Intermediate Representation）

定义：着色器源码（GLSL/SPIR-V）与 GPU 硬件指令之间的编译中间表示，用于跨硬件优化、解耦前端与后端。
Mesa 实现：
- 历史：TGSI（Gallium IR，向量优先、非 SSA、优化弱，已淘汰）
- 现代核心：NIR（New IR），SSA 形式、全局优化、跨 API / 跨硬件统一，全驱动原生支持
本质：GPU 的 “计算流”，描述着色器计算逻辑，经编译生成硬件指令。

Mesa 全链路：API 指令流 + 着色器 IR

1. 分层架构（自上而下）

应用层 → API前端 → 核心中间层（IR+命令流） → 硬件后端 → GPU执行

API 前端：实现gl*/vk*，接收应用调用，生成API 级命令与着色器源码 / SPIR-V。
核心中间层：
- 着色器编译：GLSL/SPIR-V →NIR（优化）→ 硬件指令
- 命令流构建：将 API 状态与 Draw/Dispatch 转为GPU 命令流
硬件后端：生成硬件指令、填充命令流、提交 DRM 执行。

2. OpenGL（Gallium）路径（传统）

应用 → glDrawArrays/glDrawElements → State Tracker → 1. 着色器：GLSL → AST → HIR → **NIR** → 优化 → 硬件指令（GCN/EU/...） → 2. 状态：顶点/纹理/混合/着色器入口 → 构建**Gallium命令流** → 硬件后端 → PM4/MI命令包 → DRM提交 → GPU解析命令 → 执行着色器指令

State Tracker 将 OpenGL 状态机转为 Gallium 抽象，生成 NIR 与命令流。

3. Vulkan 路径（高性能直接路径）

应用 → vkCmdDraw → Vulkan ICD（ANV/RADV） → 1. 着色器：SPIR-V → **spirv_to_nir** → NIR → 优化 → 硬件指令 → 2. 命令流：直接构建硬件原生命令流（PM4/MI），无Gallium抽象 → DRM提交 → GPU执行

Vulkan 直接对接硬件后端，共享 NIR 编译器，命令流更轻量化。

着色器 IR：NIR（Mesa 现代核心）

1. NIR 核心设计

SSA（静态单赋值）：每个值仅定义一次，支持全局数据流分析与激进优化。
控制流：基于nir_block的 CFG（控制流图），支持分支 / 循环 / 跳转。
指令体系：ALU（算术逻辑）、纹理采样、访存、控制流指令，向量 / 标量兼容。
优化能力：死码消除、常量传播、循环展开、向量化 / 标量化、寄存器分配。

2. NIR 编译流程（示例）

GLSL顶点着色器 → 解析AST → lowering到HIR → 转为NIR → NIR优化 passes → 硬件后端（radeonsi/iris）→ GPU机器码 SPIR-V → spirv_to_nir → NIR → 同上

关键函数：glsl_to_nir、spirv_to_nir、nir_optimize、nir_lower_*。

3. NIR 伪代码示例（简单片段着色器）

// 输入：vec4 color // 输出：gl_FragColor = color * 0.5 %0 = load_input 0 // 读取输入color (vec4) %1 = fconst 0.5 // 常量0.5 %2 = fmul %0, %1 // 向量乘法 store_output 0, %2 // 写入输出 return

API 指令流：从 API 到 GPU 命令

1. 命令流核心内容

状态配置：设置着色器入口、纹理 / 缓冲区基地址、顶点格式、混合模式、视口。
资源绑定：绑定顶点缓冲区、纹理、UBO、SSBO 到 GPU 寄存器 / 描述符表。
绘制调度：DRAW/DRAW_INDEXED/DISPATCH命令，启动着色器执行。
同步与内存：WAIT/SIGNAL、缓存刷新、内存屏障。

2. 命令流示例（AMD PM4 伪代码）

SET_SH_REG VS_ENTRY, 0x12345678 // 设置顶点着色器入口 SET_CONTEXT_REG CBV0_BASE, 0x87654321 // 设置常量缓冲区基址 BIND_TEX 0, TEX_HANDLE_ABC // 绑定纹理 DRAW_INDEXED 65535, 1, 0, 0 // 绘制命令 WAIT_MEMORY MEM_RDWR // 内存同步

3. 命令流与 IR 的协作

驱动编译着色器为NIR→ 生成GPU 指令并写入显存。
驱动构建命令流，在命令中指定着色器入口地址、资源地址。
提交命令流 → GPU 命令处理器解析 → 按命令配置硬件 → 启动着色器执行指令。

virtio-gpu 指令流

virtio-gpu 指令流是Guest 侧 Mesa VirGL 驱动生成、经 VirtIO 协议发往 Host、由 virglrenderer 解析执行的 3D 渲染控制序列，是半虚拟化 GPU 的核心控制通道。

整体架构与分层

virtio-gpu 指令流分为外层 VirtIO 封装与内层 VirGL 3D 命令流两层：

Guest App → OpenGL/Vulkan → Mesa VirGL → 生成 VirGL 命令流 → 封装为 VIRTIO_GPU_CMD_SUBMIT_3D → VirtQueue (controlq) → QEMU → virglrenderer → Host OpenGL → 物理 GPU

外层：VirtIO 标准控制命令（virtio_gpu_ctrl_hdr），负责传输、上下文、同步与资源管理。
内层：VirGL 命令流（VIRGL_CCMD_*），是序列化的 OpenGL 状态与绘制指令，由 Mesa 生成、Host 解析执行。

外层：VirtIO-GPU 控制命令（头部）

所有命令以virtio_gpu_ctrl_hdr开头（小端）：

struct virtio_gpu_ctrl_hdr { __le32 type; // 命令类型：VIRTIO_GPU_CMD_* / VIRTIO_GPU_RESP_* __le32 flags; // VIRTIO_GPU_FLAG_FENCE 等 __le64 fence_id; // 同步 fence __le32 ctx_id; // VirGL 上下文 ID（3D 专用） u8 ring_idx; // 上下文 ring 索引（VIRTIO_GPU_F_CONTEXT_INIT） u8 padding[3]; };

核心 3D 控制命令

VIRTIO_GPU_CMD_CTX_CREATE：创建 VirGL 上下文（非 OpenGL 上下文，最多 16 个）。
VIRTIO_GPU_CMD_RESOURCE_CREATE_3D：创建 3D 纹理 / 缓冲区资源（指定 target、format、bind、尺寸等）。
VIRTIO_GPU_CMD_CTX_ATTACH_RESOURCE：将资源绑定到上下文。
VIRTIO_GPU_CMD_RESOURCE_ATTACH_BACKING：为资源绑定 Guest 物理页（共享内存）。
VIRTIO_GPU_CMD_SUBMIT_3D：提交 3D 命令流（核心入口），payload 为一串 VirGL 3D 命令。

内层：VirGL 3D 命令流（核心）

VIRTIO_GPU_CMD_SUBMIT_3D的 payload 是连续的 VirGL 命令包序列，每个包格式为：

[32位: 载荷长度(MSB) | 命令码(LSB)] → [载荷数据]

长度：载荷字节数（不含头部 8 字节）
命令码：VIRGL_CCMD_*（如VIRGL_CCMD_DRAW_VBO）

1. 命令分类（核心）

（1）上下文与对象管理

VIRGL_CCMD_CREATE_SUB_CTX：创建子上下文（对应 OpenGL 上下文）
VIRGL_CCMD_SET_SUB_CTX：激活子上下文
VIRGL_CCMD_CREATE_OBJECT：创建状态对象（混合、光栅化、深度、着色器等）
VIRGL_CCMD_BIND_OBJECT：绑定状态对象到管线
VIRGL_CCMD_BIND_SHADER：绑定顶点 / 片段着色器（TGSI 格式）

（2）状态设置

VIRGL_CCMD_SET_VIEWPORT_STATE：视口（scale/translate）
VIRGL_CCMD_SET_SCISSOR_STATE：裁剪区
VIRGL_CCMD_SET_FRAMEBUFFER_STATE：帧缓冲（颜色 / 深度表面）
VIRGL_CCMD_SET_VERTEX_BUFFERS：顶点缓冲区绑定
VIRGL_CCMD_SET_INDEX_BUFFER：索引缓冲区绑定
VIRGL_CCMD_SET_CONSTANT_BUFFER：常量缓冲区（Uniform）

（3）绘制与计算

VIRGL_CCMD_CLEAR：清屏（颜色 / 深度 / 模板）
VIRGL_CCMD_DRAW_VBO：顶点绘制（对应glDrawArrays/glDrawElements）
```
// 参数：start, count, mode, indexed, instance_count, index_bias...
```
VIRGL_CCMD_BLIT：纹理 / 表面拷贝

（4）资源与数据

VIRGL_CCMD_RESOURCE_INLINE_WRITE：资源内联写入（小数据）
VIRGL_CCMD_RESOURCE_COPY_REGION：资源区域拷贝

2. 着色器在命令流中的形式

着色器以TGSI（Gallium IR）序列存储在VIRGL_CCMD_CREATE_OBJECT（VIRGL_OBJECT_SHADER）的 payload 中。

示例：创建顶点着色器

VIRGL_CCMD_CREATE_OBJECT (opt=VIRGL_OBJECT_SHADER) 参数：[handle, type=0(顶点), token数, 偏移, so输出数, TGSI指令序列]

与 Mesa IR（NIR/TGSI）的关系

命令流：控制 GPU 状态、资源、绘制调度（控制流）。
着色器 IR（TGSI/NIR）：描述着色器计算逻辑（计算流），以 TGSI 嵌入 VirGL 命令流中。
Mesa 编译链路：GLSL → NIR → TGSI → 写入VIRGL_CCMD_CREATE_OBJECT→ 随命令流提交。

总结

API 指令流：Mesa 的控制中枢，将上层 API 转为 GPU 控制序列，调度资源与执行。
着色器 IR（NIR）：Mesa 的计算中枢，统一编译 GLSL/SPIR-V，跨硬件优化，生成 GPU 指令。
二者协同：NIR 负责 “算什么”，命令流负责 “怎么调度执行”，共同完成从 API 到像素的渲染全链路。

mesa api指令流与着色器IR