news 2026/5/9 12:30:27

别把 SFT 里的 `packing` 当成白捡吞吐的开关:TRL 里 `bfd`、`bfd_split`、`wrapped` 真正卖掉的不是同一种东西

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
别把 SFT 里的 `packing` 当成白捡吞吐的开关:TRL 里 `bfd`、`bfd_split`、`wrapped` 真正卖掉的不是同一种东西

别把 SFT 里的packing当成白捡吞吐的开关:TRL 里bfdbfd_splitwrapped真正卖掉的不是同一种东西

很多人做 SFT 时,一看到packing=True就会把它理解成“把 padding 浪费收回来,几乎没有副作用”。但我把 TRL 现在的实现、警告和一个最小模拟实验放在一起看后,结论反而更像这样:packing 确实能把 token 利用率从 80% 左右拉到 95% 以上,但你到底是在卖掉超长样本尾部 token、卖掉对话边界,还是在错误 attention 实现下把不同样本混到一起,取决于你开的根本不是同一个开关。

这篇文章不讲 SFT 入门,也不复读“padding 少了所以更快”。我只想把 TRL 里最容易被忽略的 3 个事实讲清楚:bfdbfd_splitwrapped语义不同;packingpadding_free不是一回事;如果你的 attention kernel 不认识文档边界,packing 还可能带来跨样本污染。

1. 常见说法为什么不完整:你以为只是少了 padding,官方实现其实还在替你做别的决策

很多教程会把 sequence packing 写成一句话:

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/9 12:29:16

CANN元数据定义执行结果生成上下文API

ExeResGenerationContext 【免费下载链接】metadef Ascend Metadata Definition 项目地址: https://gitcode.com/cann/metadef 简介 GetExecuteMode IsConstInput GetInputShape GetOutputShape SetAttachedStreamInfos GetAttachedStreamInfos GetStreamId SetS…

作者头像 李华
网站建设 2026/5/9 12:24:35

完整指南:在macOS上快速解锁QQ音乐加密文件的终极解决方案

完整指南:在macOS上快速解锁QQ音乐加密文件的终极解决方案 【免费下载链接】QMCDecode QQ音乐QMC格式转换为普通格式(qmcflac转flac,qmc0,qmc3转mp3, mflac,mflac0等转flac),仅支持macOS,可自动识别到QQ音乐下载目录,默…

作者头像 李华
网站建设 2026/5/9 12:13:22

基于SHAP与XAI的3D打印工艺参数优化:从黑箱预测到可解释洞察

1. 项目概述:从“试错”到“可解释”的3D打印工艺优化在3D打印领域,尤其是熔融沉积成型(FDM)这类普及型技术中,工艺参数的调整一直是个“玄学”与“科学”并存的环节。打印温度、层高、填充密度、打印速度……这些参数…

作者头像 李华
网站建设 2026/5/9 12:12:47

CANN/PTO-ISA 信号同步指令详解

信号同步指令详解(TNOTIFY / TWAIT / TTEST) 【免费下载链接】pto-isa Parallel Tile Operation (PTO) is a virtual instruction set architecture designed by Ascend CANN, focusing on tile-level operations. This repository offers high-performa…

作者头像 李华
网站建设 2026/5/9 12:12:38

CANN/ops-math Concat算子

Concat 【免费下载链接】ops-math 本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。 项目地址: https://gitcode.com/cann/ops-math 产品支持情况 产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品A…

作者头像 李华
网站建设 2026/5/9 12:11:44

left link changed unexpectedly in block xxxx of index ““index_xxxxx“

文章目录环境症状问题原因解决方案报错编码环境 系统平台:N/A 版本:10.3 症状 对表执行vaccum操作时,提示索引相关的错误,信息如下: testdb# vacuum testtable01; ERROR: left link changed unexpectedly in blo…

作者头像 李华