CANN/asc-devkit Matmul Init接口

Init

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

产品支持情况

产品	Tiling参数传入栈地址的接口	Tiling参数传入GM地址的接口
Ascend 950PR/Ascend 950DT	√	√
Atlas A3 训练系列产品 / Atlas A3 推理系列产品	√	√
Atlas A2 训练系列产品 / Atlas A2 推理系列产品	√	√
Atlas 200I/500 A2 推理产品	√	x
Atlas 推理系列产品 AI Core	√	x
Atlas 推理系列产品 Vector Core	x	x
Atlas 训练系列产品	x	x
Kirin X90	√	√
Kirin 9030	√	√

功能说明

Init主要用于对Matmul对象中的Tiling数据进行初始化，根据Tiling参数进行资源划分，Tiling参数的具体介绍请参考Matmul Tiling侧接口。

开发者可以先通过REGIST_MATMUL_OBJ不传入Tiling参数对单个Matmul对象进行初始化，后续通过Init接口单独传入Tiling参数，对Matmul对象中的Tiling数据进行调整。比如，Tiling参数可变的场景下，可以通过多次调用Init来重新设置Tiling参数。

不需要Tiling变更的场景下，推荐使用REGIST_MATMUL_OBJ传入Tiling参数进行初始化。

函数原型

• Tiling参数传入栈地址

  __aicore__ inline void Init(const TCubeTiling* __restrict cubeTiling, TPipe* tpipe = nullptr)

• Tiling参数传入GM地址

  __aicore__ inline void Init(const __gm__ TCubeTiling* gmCubeTiling, TPipe* tpipe = nullptr)

参数说明

表 1Tiling参数传入栈地址接口参数说明

参数名	输入/输出	描述
cubeTiling	输入	Matmul Tiling参数，TCubeTiling结构体定义请参见表1 TCubeTiling结构说明。 Tiling参数可以通过host侧GetTiling接口获取，并传递到kernel侧使用。在kernel侧调用GET_TILING_DATA实现将Tiling参数搬运到AI Core内的栈空间中，本接口传入Tiling参数中TCubeTiling结构体的栈地址。
tpipe	输入	Tpipe对象。

表 2Tiling参数传入GM地址接口参数说明

参数名	输入/输出	描述
gmCubeTiling	输入	Matmul Tiling参数，该参数指向gm上的一块内存地址，其中的数据类型是TCubeTiling结构体，TCubeTiling结构体定义请参见表1 TCubeTiling结构说明。 Tiling参数可以通过host侧GetTiling接口获取，并传递到kernel侧使用。在kernel侧调用GET_TILING_DATA_PTR_WITH_STRUCT获取gm上Tiling参数的指针，本接口传入Tiling参数中TCubeTiling结构体的GM地址。
tpipe	输入	Tpipe对象。

返回值说明

无

约束说明

• Tiling参数传入栈地址的接口：

  无。

• Tiling参数传入GM地址的接口：

  • 仅支持Matmul Tiling参数的部分常量化场景。
  • 不支持CPU域调试。

调用示例

• Tiling参数传入栈地址

  GET_TILING_DATA(tilingData, tiling); // ... REGIST_MATMUL_OBJ(&pipe, GetSysWorkSpacePtr(), mm); mm.Init(&(tiling.cubeTilingData));

• Tiling参数传入GM地址

  • 纯Cube模式

    #define ASCENDC_CUBE_ONLY GET_TILING_DATA_PTR_WITH_STRUCT(MatmulCustomTilingData, tilingDataPtr, tiling); KERNEL_TASK_TYPE_DEFAULT(KERNEL_TYPE_AIC_ONLY); // ... REGIST_MATMUL_OBJ(&pipe, GetSysWorkSpacePtr(), mm); mm.Init(&(tilingDataPtr->cubeTilingData));

  • MIX模式

    GET_TILING_DATA_PTR_WITH_STRUCT(MatmulCustomTilingData, tilingDataPtr, tiling); KERNEL_TASK_TYPE_DEFAULT(KERNEL_TYPE_MIX_AIC_1_2); // ... // MIX模式下，只调用REGIST_MATMUL_OBJ接口，传入Tiling参数的GM地址，不需调用Init接口 REGIST_MATMUL_OBJ(&pipe, GetSysWorkSpacePtr(), mm, &(tilingDataPtr->cubeTilingData));

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit