开源算法体系OpenMMLab

开源算法体系OpenMMLab

一、OpenMMLab概述

OpenMMLab是一个由中国主导的计算机视觉开源项目，诞生于2018年，是具有国际影响力的计算机视觉开源算法体系，并在2022年视觉人工智能大会上发布了OpenMMLab2.0版本。

该项目涵盖多种计算机视觉任务，每一种任务都对应OpenMMLab在GitHub上的一个开源算法库，具体包括图像分类、目标检测、目标分割、姿态估计、视频理解、OCR、3D目标检测、3D人体姿态估计、模型轻量化、自监督学习、少样本学习、光流估计、预训练、多模态、AIGC、模型终端推理部署等。

OpenMMLab包含多个算法库，支持从训练到模型部署的全过程，致力于提供实时响应的解决方案，适用于各种硬件和终端设备。

二、OpenMMLab中常用的算法库

1. MMDetection（目标检测）：可解决目标检测、实例分割、全景分割和目标追踪任务，GitHub链接：https://github.com/open-mmlab/mmdetection
   

2. MMYOLO（目标检测算法库），GitHub链接：https://github.com/open-mmlab/mmyolo
   

3. MMOCR（文字检测识别算法库），GitHub链接：https://github.com/open-mmlab/mmocr
   

4. MMDetection3D（3D目标检测算法库）：多用于自动驾驶领域，GitHub链接：https://github.com/open-mmlab/mmdetection3d
   

5. MMRotate（旋转目标检测算法库），GitHub链接：https://github.com/open-mmlab/mmrotate
   

6. MMSegmentation（图像分割算法库），GitHub链接：https://github.com/open-mmlab/mmsegmentation
   

7. MMPretrain（图像分类+预训练+多模态算法库）：可实现图像分类、图像描述、视觉问答、视觉定位和检索，GitHub链接：https://github.com/open-mmlab/mmpretrain
   
   

8. MMPose（姿态估计算法库），GitHub链接：https://github.com/open-mmlab/mmpose

9. MMHuman3D（三维人体姿态估计算法库），GitHub链接：https://github.com/open-mmlab/mmhuman3d
   

10. MMAction2（视频动作识别算法库），GitHub链接：https://github.com/open-mmlab/mmaction2

11. MMagic（生成模型+底层视觉+AIGC算法库），GitHub链接：https://github.com/open-mmlab/mmagic

三、模型终端部署

OpenMMLab的算法需实现实时响应，因此需要直接部署在各种硬件上，涉及的硬件包括PC、浏览器、手机APP、微信小程序、服务器、嵌入式开发板、无人车、无人机、Jetson Orin Nano、树莓派、机械臂、物联网设备等。

模型部署面临的核心挑战：在本地终端推理场景中，硬件和芯片种类多样，且算力相对薄弱。

12. 模型部署工具箱MMDeploy
GitHub链接：https://github.com/open-mmlab/mmdeploy