news 2026/8/10 2:48:51

autodl vLLM 部署MinerU2.5

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
autodl vLLM 部署MinerU2.5

会话管理命令(推荐使用 screen 或 tmux 实现后台运行)

功能screen 命令tmux 命令
新建命名会话screen -S 会话名tmux new -s 会话名
列出所有会话screen -lstmux ls
重新连接会话screen -r 会话名tmux attach -t 会话名
后台运行(detach)Ctrl+ADCtrl+BD
退出并关闭会话exitCtrl+DexitCtrl+D
# 创建名为mineru_env的Python 3.11虚拟环境conda create -n mineru_envpython=3.11# 初始化conda并更新bash环境变量conda initbash&&source/root/.bashrc# 激活新建的虚拟环境conda activate mineru_env# 使用阿里云镜像安装mineru核心包pipinstall-U"mineru[core]"-i https://mirrors.aliyun.com/pypi/simple/ --extra-index-url https://pypi.org/simple

详细操作步骤:ModelScope 模型缓存配置与下载

1. 创建数据盘缓存目录

mkdir-p /root/autodl-tmp/modelscope_cache
  • 此命令会在/root/autodl-tmp/路径下创建modelscope_cache目录
  • -p参数确保父目录不存在时会自动创建
  • 推荐使用数据盘路径(如/root/autodl-tmp/)而非系统盘,避免占用宝贵的系统存储空间

2. 配置 ModelScope 缓存路径环境变量

exportMODELSCOPE_CACHE=/root/autodl-tmp/modelscope_cache
  • 将 ModelScope 的默认缓存路径指向刚创建的目录
  • 环境变量设置仅在当前会话有效,如需永久生效可添加到~/.bashrc文件
  • 验证设置是否成功:echo $MODELSCOPE_CACHE

3. 指定 MinerU 模型来源

exportMINERU_MODEL_SOURCE=modelscope
  • 明确告知 MinerU 系统从 ModelScope 获取模型
  • 这是必要的配置项,确保模型下载来源正确
  • 其他可选来源包括huggingface

4. 重新下载模型

mineru-models-download
  • 执行模型下载命令
  • 系统会根据配置从 ModelScope 下载所需模型到指定缓存目录
  • 下载进度会显示在终端,大模型可能需要较长时间
  • 完成后可通过ls -lh $MODELSCOPE_CACHE检查下载的文件
  1. 激活conda环境:
conda activate mineru_env
  1. 启动mineru服务器:
exportMINERU_MODEL_SOURCE=local# 设置模型源为本地exportCUDA_VISIBLE_DEVICES=3# 指定使用第3块GPU# 启动 OpenAI 兼容推理服务器(基于 vLLM)mineru-openai-server\--port30000\--host0.0.0.0\--gpu-memory-utilization0.85\--max-model-len8192\--tensor-parallel-size1

脱离:Ctrl+B D

# 检查可用模型列表curlhttp://127.0.0.1:30000/v1/models

MinerU 命令与运行模式说明

命令一览

命令用途推理引擎端口运行模式
mineru-openai-serverOpenAI 兼容 API 服务器vLLM30000持续运行
mineru-apiFastAPI 服务内置8000持续运行
mineru-gradioWebUI 界面内置7860持续运行
mineru命令行工具本地 / vLLM-单次执行

持续运行关系说明

启动 FastAPI 服务

mineru-api --port8000

该服务提供以下功能:

  • 封装业务级 API(包含推理、OCR、文档解析等能力)
  • 支持对接:
    • mineru-openai-server
    • 本地模型推理

注意事项:

  • 需要保持服务持续运行
  • 通常作为后端主入口使用

服务启动信息

Start MinerU FastAPI Service: http://192.168.110.131:50000 API文档访问地址: - SwaggerUI: http://192.168.110.131:50000/docs - ReDoc: http://192.168.110.131:50000/redoc INFO: Started server process [1112945] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://192.168.110.131:50000 (Press CTRL+C to quit)

服务启动后,可通过访问http://192.168.110.131:50000/docs查看接口文档。

2. 使用客户端连接

mineru \ -p "/root/autodl-tmp/扫描版ocr识别测试文档/pdf扫描版本测试集/01-19页测试版本.pdf" \ -o "/root/autodl-tmp/mineru_output_test" \ -b hybrid-http-client \ -u http://127.0.0.1:30000 \ --lang ch mineru \ -p "/root/autodl-tmp/扫描版ocr识别测试文档/pdf扫描版本测试集" \ -o "/root/autodl-tmp/mineru_output_test" \ -b hybrid-http-client \ -u http://127.0.0.1:30000 \ --lang ch \ -r

总结

  • mineru-openai-server:vLLM 推理服务器,需要持续运行
  • mineru:客户端工具,连接服务器处理文档
  • 关系mineru-openai-server是服务端,mineru是客户端,通过 HTTP 通信

您现在可以尝试在另一个终端中使用mineru命令连接已启动的服务器了!

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/9 21:37:12

PyTorch音频生成框架:基于WaveNet的音频合成技术探索

PyTorch音频生成框架:基于WaveNet的音频合成技术探索 【免费下载链接】pytorch-wavenet 项目地址: https://gitcode.com/gh_mirrors/py/pytorch-wavenet 音频生成领域长期面临三大核心挑战:传统合成方法难以捕捉音频信号的复杂时序依赖关系、生成…

作者头像 李华
网站建设 2026/8/8 0:47:33

Cute_Animal_For_Kids_Qwen_Image国际化适配建议

Cute_Animal_For_Kids_Qwen_Image国际化适配建议 1. 为什么儿童向AI图像生成需要特别关注国际化? 你有没有试过给一个外国小朋友展示“小熊穿唐装、提灯笼、站在红墙下”的图片?孩子可能一脸困惑——他不认识灯笼,也不理解红墙背后的文化含…

作者头像 李华
网站建设 2026/8/9 22:51:52

3个步骤掌握音频源分离:Wave-U-Net完全指南

3个步骤掌握音频源分离:Wave-U-Net完全指南 【免费下载链接】Wave-U-Net Implementation of the Wave-U-Net for audio source separation 项目地址: https://gitcode.com/gh_mirrors/wa/Wave-U-Net 音频源分离技术在音乐制作、语音处理和音频修复等领域扮演…

作者头像 李华
网站建设 2026/8/9 22:51:00

掌握开源电磁仿真FDTD方法:从理论基础到工程应用实战

掌握开源电磁仿真FDTD方法:从理论基础到工程应用实战 【免费下载链接】meep free finite-difference time-domain (FDTD) software for electromagnetic simulations 项目地址: https://gitcode.com/gh_mirrors/me/meep 在现代工程设计中,电磁仿真…

作者头像 李华
网站建设 2026/8/9 9:50:50

SystemVerilog菜鸟教程:零基础也能懂的接口使用方法

以下是对您提供的博文内容进行 深度润色与工程化重构后的版本 。我以一位在芯片验证一线奋战十年、带过数十个UVM项目的资深验证架构师视角,彻底重写了全文—— 摒弃所有教科书式结构、删除空洞术语堆砌、剔除AI腔调,代之以真实项目中的语言节奏、踩坑经验、设计权衡和可立…

作者头像 李华
网站建设 2026/8/9 13:15:35

数字清理大师:释放存储空间的智能文件管理方案

数字清理大师:释放存储空间的智能文件管理方案 【免费下载链接】vidupe Vidupe is a program that can find duplicate and similar video files. V1.211 released on 2019-09-18, Windows exe here: 项目地址: https://gitcode.com/gh_mirrors/vi/vidupe 您…

作者头像 李华