news 2026/9/14 11:08:06

如何关闭 TRL 的匿名使用统计收集(遥测)?

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
如何关闭 TRL 的匿名使用统计收集(遥测)?

如何关闭 TRL 的匿名使用统计收集(遥测)?

【免费下载链接】trlTrain transformer language models with reinforcement learning.项目地址: https://gitcode.com/GitHub_Trending/tr/trl

如果你在用 TRL 做强化学习训练,又希望训练脚本不向外部发送任何使用统计(常见于内网环境或对数据外发敏感的团队),官方文档给出了明确的关闭方式:设置两个环境变量之一即可。

TRL 会发送哪些统计

TRL 会在每次实例化 trainer 时发送一次匿名统计(使用统计文档)。上报的字段包括:

  • TRL 版本号(如1.5.0);
  • trainer 类名,仅当它是 TRL 自带的 trainer(如SFTTrainerGRPOTrainer)时才会上报,用户自定义子类一律记为other
  • 模型架构,仅当它是transformers已知的模型类型时才会上报(如llamaqwen3),自定义或私有架构记为other
  • 是否在使用 PEFT;
  • 训练数据的加载方式:hub(从 Hub 下载)、files(通过json/csv等文件方式读取)、memory(进程内构建,如Dataset.from_dict)或other。数据集名称和路径不会被收集;
  • 分布式后端(deepspeedfsdpddpnone);
  • 进程规模,分档上报(12-89-6465+);
  • 加速器类型(cudaxpunpumlumpscpu);
  • GPU 型号(如NVIDIA H100 80GB HBM3),可得时上报。

文档同时声明:不收集数据集名称、文件路径、模型标识符、超参数值或其他任何用户提供的数据。需要留意的一点是:和任何 HTTP 请求一样,发起端的源 IP 与标准 HTTP 头对服务器可见。

发送逻辑本身在 base_trainer.py 的_send_telemetry中实现:只在主进程(rank 0)发送,跳过 CI 运行,并通过 huggingface_hub 的send_telemetry发送。

关闭遥测:设置环境变量

官方文档给出的关闭方式是在训练环境的 shell 会话中设置以下两个环境变量之一:

export HF_HUB_DISABLE_TELEMETRY=1 # disables telemetry for all HF libraries export HF_HUB_OFFLINE=1 # disables all network calls to the Hub

两者的作用范围不同,按需选择:

  • HF_HUB_DISABLE_TELEMETRY=1:仅关闭遥测,覆盖所有 HF 库;训练仍然可以联网访问 Hub。
  • HF_HUB_OFFLINE=1:禁用对 Hub 的一切网络调用,范围更大。如果训练需要在线拉取模型或数据集,它会直接影响可用性,只适用于完全离线的训练场景。

export只对当前 shell 会话及其子进程生效,所以必须在启动训练脚本的那个 shell 里设置;如果训练通过accelerate launch等命令拉起,环境变量会随进程继承,无需额外传递。

如何确认遥测已关闭

发送侧的判断逻辑可以对照 base_trainer.py 阅读:

  1. 非主进程(accelerator.is_main_processFalse)不发送;
  2. CI环境变量已设置时不发送——CI 环境无需额外配置;
  3. HF_HUB_DISABLE_TELEMETRY=1HF_HUB_OFFLINE=1send_telemetry内部处理,设置后不再发送。

也就是说,除了 CI 场景外,判断是否已关闭的依据就是确认启动训练脚本的进程环境中存在这两个变量之一(可用env | grep HF_HUB查看当前 shell)。文档没有提供额外的验证命令或可观察的成功输出,send_telemetry静默发送,关闭与否不会改变训练的可见日志。

作用范围与边界

  • 两个变量都是 Hub 层面的开关,作用于所有 HF 库,不只是 TRL 自身的遥测。
  • HF_HUB_OFFLINE=1同时会切断训练对 Hub 的下载能力,在线拉取模型/数据集的训练流程不适用。
  • 文档没有提供任何 trainer 级别的关闭参数;如果某个进程没有设置上述环境变量且不在 CI/离线模式下,实例化 trainer 时就会发送一次统计。
  • 文档也说明,保持遥测开启是维护者了解各 trainer 与硬件配置使用情况的方式之一——如果环境允许外发请求,是否关闭由你自己权衡。

【免费下载链接】trlTrain transformer language models with reinforcement learning.项目地址: https://gitcode.com/GitHub_Trending/tr/trl

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/14 11:05:35

[环境配置] 免管理员设置环境变量(make gcc)

文章大纲 在公司电脑没有管理员权限的情况下,常规配置 Windows 环境变量往往寸步难行,直接影响嵌入式与 C/C 流程开发。本文提供一套免管理员的解决方案:借助 setx 命令配合自动化脚本,即可在用户级别完成环境变量配置&#xff0…

作者头像 李华
网站建设 2026/9/14 11:04:22

PostHog 数据建模治理实践:先查语义层再建模,建完再注册

PostHog 数据建模治理实践:先查语义层再建模,建完再注册 【免费下载链接】posthog :hedgehog: PostHog is the leading platform for building self-driving products. Our developer tools – AI observability, analytics, session replay, flags, exp…

作者头像 李华
网站建设 2026/9/14 11:02:11

Krokiet 磁盘清理工具:一条命令装好,14 类问题文件一次扫清

Krokiet 磁盘清理工具:一条命令装好,14 类问题文件一次扫清 【免费下载链接】czkawka Multi functional app to find duplicates, empty folders, similar images etc. 项目地址: https://gitcode.com/GitHub_Trending/cz/czkawka 照片库、下载目…

作者头像 李华
网站建设 2026/9/14 11:02:00

Matlab实现水下航行器多目标协同规划技术解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/9/14 11:01:33

Telegraf HTTP Listener v2 输入插件完全指南:从配置到源码级原理

Telegraf HTTP Listener v2 输入插件完全指南:从配置到源码级原理 【免费下载链接】telegraf Agent for collecting, processing, aggregating, and writing metrics, logs, and other arbitrary data. 项目地址: https://gitcode.com/GitHub_Trending/te/telegra…

作者头像 李华