CANN/sip Strmm三角矩阵乘法-平芜编程栈

Strmm

【免费下载链接】sip本项目是CANN提供的一款高效、可靠的高性能信号处理算子加速库，基于华为Ascend AI处理器，专门为信号处理领域而设计。项目地址: https://gitcode.com/cann/sip

产品支持情况

产品	是否支持
Atlas 200I/500 A2 推理产品	×
Atlas 推理系列产品	×
Atlas 训练系列产品	×
Atlas A3 训练系列产品/Atlas A3 推理系列产品	√
Atlas A2 训练系列产品/Atlas A2 推理系列产品	√
Ascend 950PR/Ascend 950DT	×

功能说明

接口功能：
asdBlasMakeStrmmPlan：初始化该句柄对应的Strmm算子配置。
asdBlasStrmm：单精度，其功能是将一个三角矩阵A乘一个矩阵B，得到一个新的矩阵C。
计算公式： $$ c = \begin{cases} alphaop(A)B & if side == ASDBLAS_SIDE_LEFT \ alphaBop(A) & if side == ASDBLAS_SIDE_RIGHT \ \end{cases} $$
示例：
输入“A”为：
[ [ 1, 0 ], [ 3, 4 ] ]
输入“B”为：
[ [ 1, 2 ], [ 3, 4 ] ]
输入“side”为：L，“uplo”为：L，输入“trans”为：N，输入“diag”为：N。
输入“n”为：2，输入“lda”为：2，输入“ldb”为：2，输入“ldc”为：2。
输入“alpha”为：2.345。
调用“asdBlasStrmm”算子后，输出“C”为：
[ [ 2.3450, 4.6900],
[35.1750, 51.5900] ]

函数原型

AspbStatus asdBlasMakeStrmmPlan( asdBlasHandle handle)

AspbStatus asdBlasStrmm( asdBlasHandle handle, asdBlasSideMode_t side, asdBlasFillMode_t uplo, asdBlasOperation_t trans, asdBlasDiagType_t diag, const int64_t m, const int64_t n, const float * alpha, aclTensor * A, const int64_t lda, aclTensor * B, const int64_t ldb, aclTensor * C, const int64_t ldc)

asdBlasMakeStrmmPlan

参数说明：
参数名输入/输出描述
handle（asdBlasHandle）输入算子的句柄
返回值：
返回状态码，具体参见SiP返回码。

asdBlasStrmm

参数说明：

参数名	输入/输出	描述
handle（asdBlasHandle）	输入	算子的句柄
side（asdBlasSideMode_t）	输入	指定矩阵A是乘法左侧还是右侧。。 ASDBLAS_SIDE_LEFT:左侧 ASDBLAS_SIDE_RIGHT:右侧
uplo（asdBlasFillMode_t）	输入	指定矩阵A的存储格式。 ASDBLAS_FILL_MODE_LOWER:下三角 ASDBLAS_FILL_MODE_UPPER:上三角
diag（asdBlasDiagType_t）	输入	指定是否假定矩阵A的对角线元素为1。 ASDBLAS_DIAG_NON_UNIT:不假定为1 ASDBLAS_DIAG_UNIT:假定为1
trans（asdBlasOperation_t）	输入	指定是否对矩阵A进行转置。 ASDBLAS_OP_N:不转置 ASDBLAS_OP_T:转置
m（int64_t）	输入	矩阵B和C的行数。
n（int64_t）	输入	矩阵B和C的列数。
alpha（float *）	输入	公式中的alpha，用于计算矩阵乘法的系数。
A（aclTensor *）	输入	对应公式中的'A'。数据类型支持FLOAT32。数据格式支持ND。当A为乘法左矩阵时，shape为[m，m] 当A为乘法右矩阵时，shape为[n，n]
lda（int64_t）	输入	表示张量A中元素的间隔（当前约束为m/n，当side=ASDBLAS_SIDE_LEFT时为m，side=ASDBLAS_SIDE_RIGHT时为n）。
B（aclTensor *）	输入	对应公式中的'B'。数据类型支持FLOAT32。数据格式支持ND。 shape为[m，n]
ldb（int64_t）	输入	表示张量B中元素的间隔（当前约束为m）。
C（aclTensor *）	输出	对应公式中的'C'。数据类型支持FLOAT32。数据格式支持ND。 shape为[m，n]
ldc（int64_t）	输入	表示张量C中元素的间隔（当前约束为m）。

返回值：
返回状态码，具体参见SiP返回码。

约束说明

输入的元素个数m，n当前覆盖支持[1，8193]。
当side = ASDBLAS_SIDE_LEFT时，算子输入shape为[m，m]、[m，n]，输出shape为[m，n]。
当side = ASDBLAS_SIDE_RIGHT时，算子输入shape为[n，n]、[m，n]，输出shape为[m，n]。
算子实际计算时，不支持ND高维度运算（不支持维度≥3的运算）。

调用示例

示例代码如下，该样例旨在提供快速上手、开发和调试算子的最小化实现，其核心目标是使用最精简的代码展示算子的核心功能，而非提供生产级的安全保障。不推荐用户直接将示例代码作为业务代码，若用户将示例代码应用在自身的真实业务场景中且发生了安全问题，则需用户自行承担。

#include <iostream> #include <vector> #include "asdsip.h" #include "acl/acl.h" #include "acl_meta.h" using namespace AsdSip; #define ASD_STATUS_CHECK(err) \ do { \ AsdSip::AspbStatus err_ = (err); \ if (err_ != AsdSip::ErrorType::ACL_SUCCESS) { \ std::cout << "Execute failed." << std::endl; \ exit(-1); \ } \ } while (0) #define CHECK_RET(cond, return_expr) \ do { \ if (!(cond)) { \ return_expr; \ } \ } while (0) #define LOG_PRINT(message, ...) \ do { \ printf(message, ##__VA_ARGS__); \ } while (0) int64_t GetShapeSize(const std::vector<int64_t> &shape) { int64_t shapeSize = 1; for (auto i : shape) { shapeSize *= i; } return shapeSize; } int Init(int32_t deviceId, aclrtStream *stream) { // 固定写法，acl初始化 auto ret = aclInit(nullptr); CHECK_RET(ret == ::ACL_SUCCESS, LOG_PRINT("aclInit failed. ERROR: %d\n", ret); return ret); ret = aclrtSetDevice(deviceId); CHECK_RET(ret == ::ACL_SUCCESS, LOG_PRINT("aclrtSetDevice failed. ERROR: %d\n", ret); return ret); ret = aclrtCreateStream(stream); CHECK_RET(ret == ::ACL_SUCCESS, LOG_PRINT("aclrtCreateStream failed. ERROR: %d\n", ret); return ret); return 0; } template <typename T> int CreateAclTensor(const std::vector<T> &hostData, const std::vector<int64_t> &shape, void **deviceAddr, aclDataType dataType, aclTensor **tensor) { auto size = GetShapeSize(shape) * sizeof(T); // 调用aclrtMalloc申请device侧内存 auto ret = aclrtMalloc(deviceAddr, size, ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ::ACL_SUCCESS, LOG_PRINT("aclrtMalloc failed. ERROR: %d\n", ret); return ret); // 调用aclrtMemcpy将host侧数据复制到device侧内存上 ret = aclrtMemcpy(*deviceAddr, size, hostData.data(), size, ACL_MEMCPY_HOST_TO_DEVICE); CHECK_RET(ret == ::ACL_SUCCESS, LOG_PRINT("aclrtMemcpy failed. ERROR: %d\n", ret); return ret); // 计算连续tensor的strides std::vector<int64_t> strides(shape.size(), 1); for (int64_t i = shape.size() - 2; i >= 0; i--) { strides[i] = shape[i + 1] * strides[i + 1]; } // 调用aclCreateTensor接口创建aclTensor *tensor = aclCreateTensor(shape.data(), shape.size(), dataType, strides.data(), 0, aclFormat::ACL_FORMAT_ND, shape.data(), shape.size(), *deviceAddr); return 0; } int main(int argc, char **argv) { int deviceId = 0; aclrtStream stream; auto ret = Init(deviceId, &stream); CHECK_RET(ret == ::ACL_SUCCESS, LOG_PRINT("Init acl failed. ERROR: %d\n", ret); return ret); asdBlasSideMode_t side = asdBlasSideMode_t::ASDBLAS_SIDE_LEFT; asdBlasFillMode_t uplo = asdBlasFillMode_t::ASDBLAS_FILL_MODE_LOWER; asdBlasOperation_t trans = asdBlasOperation_t::ASDBLAS_OP_N; asdBlasDiagType_t diag = asdBlasDiagType_t::ASDBLAS_DIAG_NON_UNIT; const int64_t m = 5; const int64_t n = 5; float alpha = 1.0; int64_t lda = m; int64_t ldb = m; int64_t ldc = m; const int64_t tensorASize = m * m; std::vector<float> tensorInAData(tensorASize, 0.0); for (int64_t i = 0; i < m; i++) { for (int64_t j = 0; j < m; j++) { tensorInAData[m * i + j] = i; } } const int64_t tensorBSize = m * n; std::vector<float> tensorInBData(tensorBSize, 0.0); for (int64_t i = 0; i < m; i++) { for (int64_t j = 0; j < n; j++) { tensorInBData[n * i + j] = i; } } const int64_t tensorCSize = m * n; std::vector<float> tensorCData(tensorCSize, 0.0); std::cout << "side = " << static_cast<int32_t>(side) << std::endl; std::cout << "uplo = " << static_cast<int32_t>(uplo) << std::endl; std::cout << "trans = " << static_cast<int32_t>(trans) << std::endl; std::cout << "diag = " << static_cast<int32_t>(diag) << std::endl; std::cout << "------- input A -------" << std::endl; for (int64_t i = 0; i < m; i++) { for (int64_t j = 0; j < m; j++) std::cout << tensorInAData[i * m + j] << " "; std::cout << std::endl; } std::cout << "------- input B -------" << std::endl; for (int64_t i = 0; i < m; i++) { for (int64_t j = 0; j < n; j++) std::cout << tensorInBData[i * n + j] << " "; std::cout << std::endl; } std::vector<int64_t> aShape = {tensorASize}; std::vector<int64_t> bShape = {tensorBSize}; std::vector<int64_t> cShape = {tensorCSize}; aclTensor *inputA = nullptr; aclTensor *inputB = nullptr; aclTensor *outputC = nullptr; void *inputADeviceAddr = nullptr; void *inputBDeviceAddr = nullptr; void *outputCDeviceAddr = nullptr; ret = CreateAclTensor(tensorInAData, aShape, &inputADeviceAddr, aclDataType::ACL_FLOAT, &inputA); CHECK_RET(ret == ::ACL_SUCCESS, return ret); ret = CreateAclTensor(tensorInBData, bShape, &inputBDeviceAddr, aclDataType::ACL_FLOAT, &inputB); CHECK_RET(ret == ::ACL_SUCCESS, return ret); ret = CreateAclTensor(tensorCData, cShape, &outputCDeviceAddr, aclDataType::ACL_FLOAT, &outputC); CHECK_RET(ret == ::ACL_SUCCESS, return ret); asdBlasHandle handle; asdBlasCreate(handle); size_t lwork = 0; void *buffer = nullptr; asdBlasMakeStrmmPlan(handle); asdBlasGetWorkspaceSize(handle, lwork); std::cout << "lwork = " << lwork << std::endl; if (lwork > 0) { ret = aclrtMalloc(&buffer, static_cast<int64_t>(lwork), ACL_MEM_MALLOC_HUGE_FIRST); CHECK_RET(ret == ::ACL_SUCCESS, LOG_PRINT("allocate workspace failed. ERROR: %d\n", ret); return ret); } asdBlasSetWorkspace(handle, buffer); asdBlasSetStream(handle, stream); ASD_STATUS_CHECK( asdBlasStrmm(handle, side, uplo, trans, diag, m, n, alpha, inputA, lda, inputB, ldb, outputC, ldc)); asdBlasSynchronize(handle); asdBlasDestroy(handle); ret = aclrtMemcpy(tensorCData.data(), tensorCSize * sizeof(float), outputCDeviceAddr, tensorCSize * sizeof(float), ACL_MEMCPY_DEVICE_TO_HOST); CHECK_RET(ret == ::ACL_SUCCESS, LOG_PRINT("copy result from device to host failed. ERROR: %d\n", ret); return ret); std::cout << "------- output C -------" << std::endl; for (int64_t i = 0; i < m; i++) { for (int64_t j = 0; j < n; j++) { std::cout << tensorCData[i * n + j] << " "; } std::cout << std::endl; } std::cout << "Execute successfully." << std::endl; aclDestroyTensor(inputA); aclDestroyTensor(inputB); aclDestroyTensor(outputC); aclrtFree(inputADeviceAddr); aclrtFree(inputBDeviceAddr); aclrtFree(outputCDeviceAddr); aclrtDestroyStream(stream); aclrtResetDevice(deviceId); aclFinalize(); return 0; }

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考