编程模型
软件栈
网络模型到 NPU 实现的步骤如下，总体划分为离线和运行两部分
a）离线工具链（量化 → Vela编译）
离线过程需要将网络模型转换为 NPU 可以接受的二进制命令流，具体流程为：
•训练模型：流程起点是准备训练好的模型
•量化：IP 只支持 TensorFlow Lite 格式的定点模型，需要将模型量化为tflite格式模型。
•编译：ARM 提供 Vela 编译工具，将 tflite 模型编译成二进制命令流，编译同时会进行权重压缩、内存分配等优化，这个优化不会有精度损失。
b）运行（Arm NN → 驱动 → NPU）
使用 CMSIS:NN 库可以简化运行流程，也可以通过寄存器直接配置 NPU 工作，具体流程如下：
• 将编译好的命令流、权重等数据放入内存；
• 通过写寄存器，将命令流的内存地址等信息告知 NPU；
• 触发 NPU 开始执行；
• NPU 运算完毕后，通过中断（IRQ）通知主机。
寄存器
寄存器按照功能层面分为BASE、BASE_POINT、ID、和PMU共4个区域，下面说明一些可以配置IP基本运行的寄存器。
a）BASE 寄存器
BASE 用于 IP 工作的基本配置，流程是预先在存储中准备好命令流、原始数据、权重，通过 QBASE0 指定命令流起始地址，然后通过 CMD 触发 IP 运算，等待中断清除中断，最后读取结果。
| 地址 | 寄存器 | 说明 |
|---|---|---|
| 0x0008 | CMD | 触发IP工作、清除中断 |
| 0x0010/14 | QBASE0/1 | 命令流存放的起始地址，40bit地址所以需要2个寄存器 |
| 0x0018 | QREAD | 当前命令执行地址，用于读取debug |
| 0x0020 | QSIZE | 命令流大小，单位是Byte |
| 0x003C | REGIONCFG | 配置每个区域使用的AXI接口 |
| 0x0040/44/48/4C | AXI_LIMIT0/1/2/3 | 配置AXI接口burst长度、outstanding长度等 |
b）BASE_POINT 寄存器
IP 包含8个区域，BASE_POINT 寄存器指示了每个区域的偏移。例如 ip 示例程序用了区域 0、1、2、3，分别存储权重、输入图像、中间缓存、输出图像。区域的划分本意是配合 REGIONCFG 指定不同存储设备，哪个区域用来干什么实际上是命令流里的代码决定的，即命令流也可以写成所有过程只用区域 0，然后在区域 0 内再加上不同偏移。
| 地址 | 寄存器 | 说明 |
|---|---|---|
| 0x0080/84 | BASEP0/1 | 区域0地址偏移，40bit地址所以需要2个寄存器 |
| 0x008C/88 | BASEP2/3 | 区域1地址偏移 |
| 0x0094/90 | BASEP4/5 | 区域2地址偏移 |
| 0x009C/98 | BASEP6/7 | 区域3地址偏移 |
c）ID、PMU寄存器
ID 用于指示IP信息，PMU 用于性能分析和优化。
命令流
命令包含 cmd0 和 cmd1 两类，cmd0 为32it，由 10bit指令+6bit标识+16bit参数构成；cmd1 为 64bit，在 6bit 标识不同的基础上又附带了 32bit 数据。
| Bit15 | Bit14 | Bit13 | Bit12 | Bit11 | Bit10 | Bits 9-0 | Data |
|---|---|---|---|---|---|---|---|
| 0 | 0 | 0 | 0 | 0 | 0 | cmd0 | No data item |
| 0 | 1 | 0 | 0 | 0 | 0 | cmd1 | 32-bit data item payload |
下图为指令流示例，SET_PARALLEL_MODE 为 cmd0 指令，32bit，参数是1；而后面 SET_IFM_BASE0 为 cmd1 指令，64bit，参数为0，附带数据0，指令地址偏移依次累加。
命令大体可以分为如下几类，通常命令流由很多段运算组成，每段运算又由很多 SET + OP_KERNEL 组成。只有存储到存储才需要 NPU_OP_DMA_START 命令，对于 CONV、POOL 等运算 IP 内部会自动调用 DMA 读取 IFM 和写 OFM 地址数据。
| 命令 | 描述 |
|---|---|
| NPU_OP_<KERNEL> | <KERNEL>可以是CONV、DEPTHWSIECONV、POOL等运算 |
| NPU_SET_<STATE> | 配置运算参数 |
| NPU_OP_STOP | 指示命令执行完成 |
| NPU_OP_DMA_START | 发起DMA搬运 |
| NPU_OP_<CONDITION>_WAIT | 等待状态满足 |
权重压缩
IP使用的权重采用压缩编码，压缩方式为无损压缩，即IP运算结果应该和tflite模型是完全一致的。压缩方式包括对零值序列编码和非零的 Golomb-Rice 编码和查找表编码，ip trm 3.7小节有算法具体描述。
