目录
1.特点
Open Source 开源
OpenTelemetry 开放遥测
All-in-one Platform 一体化平台
Complete Observability 完全可观测性
Evaluation & Monitoring 评估与监测
Framework Integration 框架集成
2.本地化docker
3.集成dify
MLflow GenAI 是一个开源、一体化的平台,帮助通过端到端的可观察性、评估、AI 网关、提示管理、优化和跟踪,提升agent与生成 AI 应用。
1.特点
Open Source 开源
加入成千上万的团队,利用 MLflow 构建生成式人工智能——拥有 2 万+颗 GitHub 星级和 5 千万+月下载量。作为 Linux 基金会的一部分,MLflow 确保您的 AI 基础设施保持开放且供应商中立。
OpenTelemetry 开放遥测
MLflow Tracing 完全兼容 OpenTelemetry,使其免于厂商锁定,易于与现有的可观测堆栈集成。
All-in-one Platform 一体化平台
管理从实验到生产的整个生成式人工智能旅程。在同一平台上跟踪提示、评估质量、部署模型并监控性能。
Complete Observability 完全可观测性
通过全面的追踪,捕捉提示、检索、工具调用和模型响应,全面了解每一个 AI 决策。自信地调试复杂的工作流程。
Evaluation & Monitoring 评估与监测
Stop manual testing with LLM judges and custom metrics. Systematically evaluate every change to ensure consistent improvements in your AI applications.
停止用大型语言模型评判和自定义指标手动测试。系统地评估每一次变更,确保 AI 应用持续改进。
Framework Integration 框架集成
Use any GenAI framework or model provider. With 30+ integrations and extensible APIs, MLflow adapts to your tech stack, not the other way around.
使用任何生成式 AI 框架或模型提供商。MLflow 拥有 30+集成和可扩展 API,能够适应你的技术栈,而不是反过来。
2.本地化docker
git clone --depth 1 --sparse https://github.com/mlflow/mlflow.git cd mlflow # 手动开启稀疏检出 + 配置规则(完整语法,兼容 PowerShell) git sparse-checkout init --cone git sparse-checkout add docker-compose # 用 add 替代 set,兼容性更好 cd docker-compose cp .env.dev.example .env docker compose up -d3.集成dify
dify的应用中监测栏右上角中项追踪选项:捕获应用程序执行的完整上下文,包括 LLM 调用、上下文、提示、HTTP 请求等,发送到第三方跟踪平台。
提供了不少平台,考虑到本地部署适用性,可选择mlflow作为追踪平台
配置界面如下:
跟踪 URI*:http://yourIP:5000
实验编号*:1\2\3
MLflow 的实验 ID 是数字(比如默认实验 ID 是
0,自定义实验需先查 / 创建),操作如下:
访问 MLflow UI(
http://localhost:5000),登录后(若无需登录直接进入):
- 若已有名为
XXX的实验:点击该实验,浏览器地址栏会显示http://localhost:5000/#/experiments/1(1就是该实验的 ID,是整数);- 若没有XXX实验:先在 MLflow UI 点击「Create Experiment」创建名为
XXX的实验,创建后会自动生成一个整数 ID(比如1/2)。
用户名和密码可不填
结合你本地 Docker 启动的 MLflow 场景(默认无认证):
- 若访问
http://localhost:5000无需登录:密码框填任意非空值(比如123456/password)即可(界面仅要求非空,实际不校验);- 若访问
http://localhost:5000需要登录:填 MLflow UI 登录时的密码(若未设置过,需先按前文方法创建用户并设置密码)。
配置成功界面:
配置好后就点击查看可以直接跟踪,集成度还比较高