CANN/asc-devkit SPM缓冲区读取API

ReadSpmBuffer

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

产品支持情况

产品	是否支持
Ascend 950PR/Ascend 950DT	√
Atlas A3 训练系列产品 / Atlas A3 推理系列产品	√
Atlas A2 训练系列产品 / Atlas A2 推理系列产品	√
Kirin X90	√
Kirin 9030	√

功能说明

从SPM Buffer读回到local数据中。

函数原型

• 适用于连续和不连续的数据回读：

  template <typename T> __aicore__ inline void ReadSpmBuffer(const LocalTensor<T>& readBuffer, const DataCopyParams& copyParams, int32_t readOffset = 0)

• 适用于连续的数据回读：

  template <typename T> __aicore__ inline void ReadSpmBuffer(const LocalTensor<T>& readBuffer, const int32_t readSize, int32_t readOffset = 0)

参数说明

表 1接口参数说明

参数名称	输入/输出	含义
readBuffer	输入	读回的目标local内存。
copyParams	输入	搬运参数，DataCopyParams类型，DataCopyParams结构定义请参考表2。
readSize	输入	读回的元素个数。
readOffset	输入	SPM Buffer的偏移，单位为字节。

表 2DataCopyParams结构体参数定义

参数名称	含义
blockCount	待搬运的连续传输数据块个数。uint16_t类型，取值范围：blockCount∈[1, 4095]。
blockLen	待搬运的每个连续传输数据块长度，单位为DataBlock（32字节）。uint16_t类型，取值范围：blockLen∈[1, 65535]。 特别地，当dst位于C2PIPE2GM时，单位为128B；当dst位于C2时，表示源操作数的连续传输数据块长度，单位为64B。 针对Kirin 9030，当dst位于C2时，表示源操作数的连续传输数据长度，单位为32B。
srcGap	源操作数相邻连续数据块的间隔（前面一个数据块的尾与后面数据块的头的间隔），单位为DataBlock（32字节）。uint16_t类型，srcGap不要超出该数据类型的取值范围。 在L1 Buffer -> Fixpipe Buffer场景中，srcGap特指源操作数相邻连续数据块的间隔（前面一个数据块的头与后面数据块的头的间隔），单位为DataBlock（32字节）。uint16_t类型，srcGap不要超出该数据类型的取值范围。
dstGap	目的操作数相邻连续数据块间的间隔（前面一个数据块的尾与后面数据块的头的间隔），单位为DataBlock（32字节）。uint16_t类型，dstGap不要超出该数据类型的取值范围。 特别地，当dstLocal位于C2PIPE2GM时，单位为128B；当dstLocal位于C2时，单位为64B。针对Kirin 9030，当dstLocal位于C2时，单位为32B。 在L1 Buffer -> Fixpipe Buffer场景中，dstGap特指源操作数相邻连续数据块的间隔（前面一个数据块的头与后面数据块的头的间隔），单位为DataBlock（32字节）。uint16_t类型，dstGap不要超出该数据类型的取值范围。

约束说明

无

返回值说明

无

调用示例

AscendC::TPipe pipe; AscendC::TQue<AscendC::TPosition::VECIN, 1> inQueueSrcVecIn; int dataSize = 32; // 假设T为half类型，从UB上申请一块内存32 * sizeof(half)字节 int offset = 32; // 读回时在spmBuffer上偏移32字节 pipe.InitBuffer(inQueueSrcVecIn, 1, dataSize * sizeof(half)); AscendC::LocalTensor<half> writeLocal = inQueueSrcVecIn.AllocTensor<half>(); AscendC::DataCopyParams copyParams{1, 2, 0, 0};// 搬运一个连续传输数据块，连续传输数据块的长度为2个datablock，一个datablock32字节 pipe.ReadSpmBuffer(writeLocal, copyParams, offset);

AscendC::TPipe pipe; AscendC::TQue<AscendC::TPosition::VECIN, 1> inQueueSrcVecIn; int dataSize = 64; // 从UB上申请一块内存64*sizeof(half)字节 int offset = 32; // 读回时在spmBuffer上偏移32字节 pipe.InitBuffer(inQueueSrcVecIn, 1, dataSize * sizeof(half)); AscendC::LocalTensor<half> writeLocal = inQueueSrcVecIn.AllocTensor<half>(); pipe.ReadSpmBuffer(writeLocal, dataSize, offset);

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit