# LLM-DataDist接口参考（C++）
【免费下载链接】geGE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力，并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge
LLM-DataDist-interface-list
LlmDataDist-interface
- LLMDataDist-constructor
- ~LlmDataDist()
- Initialize
- Finalize
- SetRole
- LinkLlmClusters
- UnlinkLlmClusters
- PullKvBlocks
- CopyKvCache
- CopyKvBlocks
- PushKvCache
- PushKvBlocks
- AllocateCache
- DeallocateCache
data-structure
- LlmRole
- CachePlacement
- CacheDesc
- CacheIndex
- Cache
- ClusterInfo-and-IpInfo
- KvCacheExtParam
error-code
deprecated接口
- ClusterInfo-and-IpInfo（deprecated）
- error-code（deprecated）
unsupported-interface
【免费下载链接】geGE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力，并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
