CANN/GE资料书架总览

GE资料书架总览

【免费下载链接】geGE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力，并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge

文档

• 图模式开发指南

  面向单卡的图编译和执行，提供GE基本概念、原理介绍、以及如何使用GE图引擎接口进行图的构建，编译和运行等。

• DataFlow开发指南

  面向异构和集群的图编译和执行，介绍如何通过DataFlow接口构建、修改、编译和执行计算图。

• LLM DataDist开发指南

  面向大模型，介绍如何使用LLM-DataDist接口实现集群间的数据传输，构建大模型推理分离式框架。

技术文章

• 计算图优化

  介绍GE如何通过通用的图优化技术（比如常量折叠）和特有的增强图优化技术（比如Shape优化技术），提升算法计算效率。

• 多流并行

  介绍多流并行技术的实现原理和使能方式，以及通过该技术，如何提高硬件资源利用率。

• 内存复用

  介绍GE如何结合业界标准的内存优化手段，利用全图视角精细调优内存复用算法和拓扑排序，进一步压缩网络内存占用，从而降低网络内存占用。

• 模型下沉

  介绍GE如何通过图模式的Host调度和模型下沉调度的方式，提升模型调度性能，缩短模型E2E执行时间。

• 动态shape图调度加速

  介绍Host调度优化的关键技术，以及如何通过这些技术提升异构系统资源的利用率。

• 自动融合

  介绍自动融合的实现原理和使能方式，以及通过该技术，如何缩短模型E2E时间。

API

• GraphEngine API
• DataFlow API
  • C++接口
  • Python接口
• LLM DataDist API
  • C++接口
  • Python接口

架构与开发指南

• 架构文档

  从不同维度介绍 GE 的架构设计，包括模块架构、特性设计文档和约束与规范文档，帮助开发者快速理解项目整体结构和核心设计决策。

• 开发指南

  记录开发过程中的关键设计原则、约束汇总和编码红线，指导代码编写和检视。

【免费下载链接】geGE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力，并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge