手把手教你：在Windows 11的CPU-only环境下，用pip install成功部署DeepSpeed（避坑async

在Windows 11纯CPU环境下安装DeepSpeed的完整避坑指南

最近在Windows 11上尝试安装DeepSpeed时，遇到了一个相当棘手的问题——系统提示"Unable to pre-compile async_io"错误。这让我意识到，很多开发者可能都会遇到类似的困扰，特别是在没有NVIDIA GPU的纯CPU环境下。经过一番探索和尝试，我总结出了一套完整的解决方案，现在分享给大家。

1. 理解DeepSpeed在Windows 11上的安装挑战

DeepSpeed作为微软开发的一个深度学习优化库，原本设计主要针对Linux环境和GPU加速。当我们在Windows 11的纯CPU环境下安装时，会遇到几个特有的问题：

async_io依赖问题：DeepSpeed默认会尝试编译async_io模块，这个模块需要libaio库支持，而Windows系统并不原生提供这个库。
CUDA检测警告：即使我们明确知道是在CPU环境下使用，DeepSpeed安装时仍会检测CUDA，并输出警告信息。
构建选项配置：Windows下的构建过程与Linux有显著差异，需要特别的环境变量设置。

有趣的是，DeepSpeed官方文档中并没有详细说明纯CPU环境下的Windows安装方法，这导致很多开发者遇到问题时无从下手。

2. 准备工作与环境配置

在开始安装前，我们需要做好以下准备工作：

2.1 系统要求确认

操作系统：Windows 11（版本21H2或更高）
Python环境：Python 3.8或更高版本（推荐使用3.9）
构建工具：Visual Studio 2019或2022（需要C++构建工具）

2.2 必备软件安装

安装最新版的Python，并确保pip已更新：
```
python -m pip install --upgrade pip
```
安装Visual Studio构建工具：
- 从Visual Studio官网下载安装程序
- 选择"使用C++的桌面开发"工作负载
- 确保勾选"Windows 10/11 SDK"

安装Git for Windows：

winget install --id Git.Git -e --source winget

2.3 创建专用虚拟环境（推荐）

为了避免与现有Python环境冲突，建议创建一个新的虚拟环境：

python -m venv ds_env .\ds_env\Scripts\activate

3. 解决async_io编译错误的完整方案

遇到"Unable to pre-compile async_io"错误时，我们需要从多个角度来解决这个问题。

3.1 禁用async_io编译

最直接的解决方案是禁用async_io模块的编译，这可以通过设置环境变量实现：

$env:DS_BUILD_AIO = 0 $env:DS_BUILD_OPS = 0

注意：这些环境变量需要在安装DeepSpeed之前设置，并且只在当前终端会话中有效。

3.2 从源码安装的正确步骤

克隆DeepSpeed仓库：

git clone https://github.com/microsoft/DeepSpeed.git cd DeepSpeed

设置构建环境变量：

Set-Item Env:\DS_BUILD_AIO 0 Set-Item Env:\DS_BUILD_OPS 0

运行Windows构建脚本：
```
.\build_win.bat
```
安装构建好的wheel文件：
```
cd dist pip install .\deepspeed-*.whl
```

3.3 验证安装是否成功

安装完成后，可以通过以下命令验证DeepSpeed是否安装正确：

python -c "import deepspeed; print(deepspeed.__version__)"

如果输出版本号而没有报错，说明安装成功。

4. 高级配置与优化建议

即使成功安装了DeepSpeed，在纯CPU环境下使用时还需要注意一些配置细节。

4.1 运行时配置

在代码中使用DeepSpeed时，需要明确指定不使用CUDA：

import torch import deepspeed # 确保使用CPU torch.set_default_tensor_type(torch.FloatTensor) # DeepSpeed配置 config = { "train_batch_size": 8, "fp16": { "enabled": False }, "zero_optimization": { "stage": 2 } } model = torch.nn.Linear(10, 10) model_engine, _, _, _ = deepspeed.initialize( model=model, config_params=config )

4.2 性能优化技巧

虽然DeepSpeed主要针对GPU优化，但在CPU环境下仍可以应用一些优化：

调整zero优化阶段：Zero阶段2或3在CPU上可能效果有限，可以尝试阶段1
禁用混合精度：确保fp16配置为disabled
调整batch size：使用更小的batch size减少内存压力

4.3 常见问题排查

问题现象	可能原因	解决方案
导入时崩溃	不兼容的PyTorch版本	安装与DeepSpeed兼容的PyTorch CPU版本
运行时报CUDA错误	未正确配置CPU模式	设置`torch.set_default_tensor_type(torch.FloatTensor)`
性能极差	使用了不适合CPU的优化	禁用fp16，调整zero阶段