news 2026/9/23 8:03:44

autodl 上PaddleOCR-VL 部署(2026年1月22日亲测可用)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
autodl 上PaddleOCR-VL 部署(2026年1月22日亲测可用)

会话管理命令(推荐使用 screen 或 tmux 后台运行)
功能 screen 命令 tmux 命令
新建命名会话 screen -S 名字 tmux new -s 名字
列出所有会话 screen -ls tmux ls
重新连接会话 screen -r 名字 tmux attach -t 名字
detach(后台运行) Ctrl+A → D Ctrl+B → D
退出并关闭会话 exit 或 Ctrl+D exit 或 Ctrl+D

conda create -n paddleocr-vlpython=3.11.13# 构建一个虚拟环境,名为:tfconda initbash&&source/root/.bashrc# 更新bashrc中的环境变量conda activate paddleocr-vl

从百度云pipy 安装 pip install paddlepaddle-gpu==3.2.0

pipinstallpaddlepaddle-gpu==3.2.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/#wget http://qiniu.dywlkj.com/paddleocr-vl/paddlepaddle_gpu-3.2.0-cp311-cp311-linux_x86_64.whl

推荐操作步骤

  1. 下载所有离线包到指定目录
    这个命令会解析 paddleocr[doc-parser] 的所有依赖,并将它们的 .whl 文件下载到 paddle_install_offline_wheels 文件夹中。

Bash

pip download"paddleocr[doc-parser]"\--no-cache-dir\-d ./paddle_install_offline_wheels\-v2>&1|teepaddle_download.log

参数解释:

-d ./paddle_install_offline_wheels: 指定下载目录。如果文件夹不存在,pip 会自动创建。

–no-cache-dir: 强制从网络下载,不使用本地已有的缓存包。

-v: 详细模式,记录每个包的来源和下载过程。

  1. (可选) 从该目录进行离线安装
    一旦你下载了所有 .whl 文件,以后在没有网络的环境下,你可以通过以下命令安装:
pipinstall--no-index --find-links=./paddle_install_offline_wheels"paddleocr[doc-parser]"

Install vLLM server dependencies (for production deployment)

torch==2.8.0 pip show torch Name: torch Version:2.8.0 Summary: Tensors and Dynamic neural networksinPython with strong GPU acceleration Home-page: https://pytorch.org/ Author: PyTorch Team Author-email: packages@pytorch.org License: BSD-3-Clause Location: /root/miniconda3/envs/paddleocr-vl/lib/python3.11/site-packages Requires: filelock, fsspec, jinja2, networkx, nvidia-cublas-cu12, nvidia-cuda-cupti-cu12, nvidia-cuda-nvrtc-cu12, nvidia-cuda-runtime-cu12, nvidia-cudnn-cu12, nvidia-cufft-cu12, nvidia-cufile-cu12, nvidia-curand-cu12, nvidia-cusolver-cu12, nvidia-cusparse-cu12, nvidia-cusparselt-cu12, nvidia-nccl-cu12, nvidia-nvjitlink-cu12, nvidia-nvtx-cu12, sympy, triton, typing-extensions Required-by: compressed-tensors, flash_attn, torchaudio, torchvision, vllm, xformers, xgrammarwgethttp://qiniu.dywlkj.com/paddleocr-vl/flash_attn-2.7.3%2Bcu12torch2.8cxx11abiFALSE-cp311-cp311-linux_x86_64.whl pipinstall\./flash_attn-2.7.3+cu12torch2.8cxx11abiFALSE-cp311-cp311-linux_x86_64.whl\--no-deps\--no-build-isolation# Install vLLM server dependencies (for production deployment)paddleocr install_genai_server_deps vllm
python -c"import torch; \ print(f'Torch version: {torch.__version__}'); \ print(f'CUDA available: {torch.cuda.is_available()}'); \ print(f'CUDA version used by Torch: {torch.version.cuda}'); \ print(f'Supported Architectures: {torch.cuda.get_arch_list()}'); \ print(f'Current GPU: {torch.cuda.get_device_name(0) if torch.cuda.is_available() else\"None\"}')"Torch version:2.8.0+cu128 CUDA available: True CUDA version used by Torch:12.8Supported Architectures:['sm_70','sm_75','sm_80','sm_86','sm_90','sm_100','sm_120']Current GPU: NVIDIA GeForce RTX4090

六、安装后立刻验证(必须做)

python-<<'EOF'importflash_attn,torchprint("flash_attn:",flash_attn.__file__)print("torch:",torch.__version__)print("cuda:",torch.version.cuda)print("cuda available:",torch.cuda.is_available())EOF flash_attn:/root/miniconda3/envs/paddleocr-vl/lib/python3.11/site-packages/flash_attn/__init__.py torch:2.8.0+cu128 cuda:12.8cuda available:True

python modelscope_PaddleOCR-VL.py

frommodelscopeimportsnapshot_download MODEL_NAME="PaddlePaddle/PaddleOCR-VL"MODEL_ID="PaddleOCR-VL"SAVE_DIR=f"/root/autodl-tmp/models/{MODEL_ID}"if__name__=="__main__":print(f"正在从 ModelScope 下载模型:{MODEL_NAME}")print(f"保存目录:{SAVE_DIR}")print("-"*50)model_dir=snapshot_download(MODEL_NAME,cache_dir=SAVE_DIR,revision="master",)print("-"*50)print(f"模型下载完成!")print(f"模型路径:{model_dir}")

exportDISABLE_MODEL_SOURCE_CHECK=TrueexportVLLM_USE_PRECOMPILED=1paddlex_genai_server\--model_name PaddleOCR-VL-0.9B\--model_dir /root/autodl-tmp/models/PaddleOCR-VL/PaddlePaddle/PaddleOCR-VL\--backend vllm\--host0.0.0.0\--port8118

核心操作:安装 Serving 依赖
首先,确保 Serving 插件及其依赖已安装(同样建议记录日志):

Bash

paddlex --install serving -v 2>&1 | tee install_serving.log

paddlex\--get_pipeline_config PaddleOCR-VL\--save_path ./pipelines

执行后你会看到:

pipelines/ └── PaddleOCR-VL.yaml

这一步 不需要联网成功,只要 PaddleX 包本身在。

改成

paddlex --serve\--pipeline ./pipelines/PaddleOCR-VL.yaml\--host0.0.0.0\--port10800\--paddle_model_dir /root/autodl-tmp
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/20 22:35:24

【2026年-03期】Collaborative evolution between AI and humans

这是一幅关于 AI 与人类协作进化的逻辑全景图&#xff0c;它梳理了从 AI 技术迭代到人类能力重塑&#xff0c;再到二者形成新协作模式的完整逻辑链条。AI 演进与人类能力的底层逻辑AI 演进的双轮驱动AI 演化速度&#xff1a;从 GPT-3 → GPT-4 → GPT-5&#xff0c;模型能力不断…

作者头像 李华
网站建设 2026/9/20 22:32:30

边界之内:为何高维内插无法催生下一次科学革命?

在一个被大数据和人工智能的承诺所笼罩的时代&#xff0c;一种信念日益深入人心&#xff1a;只要有足够的数据和强大的算法&#xff0c;我们就能自动解锁自然界最深邃的奥秘。机器学习模型在蛋白质折叠、材料发现和气候预测等领域取得的惊人成就&#xff0c;似乎都在为这一愿景…

作者头像 李华
网站建设 2026/9/20 22:27:57

Spring Boot 三种方式登录系统:集成微信扫码、短信验证码、邮箱验证码

Spring Boot 三种方式登录系统&#xff1a;集成微信扫码、短信验证码、邮箱验证码&#xff08;含高并发与安全增强&#xff09; 主要因为前面的帖子不太完整。 一、引言 在现代 Web 应用中&#xff0c;提供多种灵活、安全的登录方式已成为标配。本文档旨在提供一套生产就绪的…

作者头像 李华
网站建设 2026/9/20 19:49:58

HTML5 与 H5:别再让你的专业度在称呼中流失

在中国互联网行业的日常交流中&#xff0c;很少有一个词像“H5”这样被高频使用&#xff0c;却又被如此普遍地误解。当你听到有人说“做一个 H5”时&#xff0c;对方指的往往是一个在微信朋友圈传播的精美幻灯片&#xff0c;或者是一个简单的营销小游戏。然而&#xff0c;当你打…

作者头像 李华
网站建设 2026/9/22 9:22:28

3-VueAjax

什么是Vue Vue是一款用于构建用户界面的渐进式的JavaScript框架。官方网站&#xff1a;https://cn.vuejs.org/ 前端负责将数据以美观的样式呈现出来&#xff0c;而数据最终又要在数据库服务器中存储并管理。前端想要拿到数据&#xff0c;就需要请求服务器。然后服务器将数据返…

作者头像 李华
网站建设 2026/9/20 22:31:23

基于springBoot的房屋租赁管理系统

房屋租赁管理系统的背景意义 市场需求驱动 随着城市化进程加快&#xff0c;流动人口增多&#xff0c;房屋租赁需求持续增长。传统租赁方式依赖中介或线下沟通&#xff0c;效率低且信息不透明。数字化管理系统能优化流程&#xff0c;提升供需匹配效率&#xff0c;降低交易成本…

作者头像 李华