news 2026/5/29 20:55:11

【RL】verl 数据处理

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【RL】verl 数据处理

您的 Eurus-2-RL-Data 数据集需要做两个主要适配：文件格式转换和字段映射配置。

快速解决方案

1. 转换文件格式（推荐）

将 arrow 文件转换为 parquet 格式：

fromdatasetsimportload_datasetimportos# 加载原始数据ds=load_dataset("PRIME-RL/Eurus-2-RL-Data")# 保存为 parquet 格式output_dir="/data/oss_bucket_0/seadawn/openlm_hub/eurus-2-rl-data-parquet"os.makedirs(output_dir,exist_ok=True)ds["train"].to_parquet(os.path.join(output_dir,"train.parquet"))ds["validation"].to_parquet(os.path.join(output_dir,"validation.parquet"))

2. 配置数据路径

在训练命令中使用转换后的文件：

python3 -m verl.trainer.main_fastrl\data.train_files=/data/oss_bucket_0/seadawn/openlm_hub/eurus-2-rl-data-parquet/train.parquet\data.val_files=/data/oss_bucket_0/seadawn/openlm_hub/eurus-2-rl-data-parquet/validation.parquet

详细适配说明

数据格式兼容性

FastRL 的RLHFDataset类默认使用datasets.load_dataset("parquet", data_files=parquet_file)读取数据 1 。虽然您的数据是 arrow 格式，但可以通过以下方式处理：

方案一：格式转换（推荐）

如上所示，转换为 parquet 格式，这是最简单直接的方案。

方案二：自定义数据集类

如果不想转换格式，可以创建自定义数据集类：

fromverl.utils.datasetimportRLHFDatasetfromdatasetsimportload_datasetclassEurusDataset(RLHFDataset):def_read_files_and_tokenize(self):# 直接加载 arrow 格式if"train"inself.data_files[0]:self.dataframe=load_dataset("arrow",data_files=self.data_files)["train"]else:self.dataframe=load_dataset("arrow",data_files=self.data_files)["validation"]print(f"dataset len:{len(self.dataframe)}")self.dataframe=self.maybe_filter_out_long_prompts(self.dataframe)

然后在配置中指定：

data:custom_cls:path:/path/to/your/custom_dataset.pyname:EurusDataset

字段映射验证

您的数据字段与 FastRL 默认配置兼容 2 ：

  • prompt✓ - 对应配置中的prompt_key: prompt
  • data_source✓ - 对应配置中的reward_fn_key: data_source
  • reward_model- 可用于多奖励模型场景
  • ability,extra_info- 额外信息，训练时会保留

多文件配置

如果您想直接使用原始的多个 arrow 文件，可以这样配置：

data:train_files:-/data/oss_bucket_0/seadawn/openlm_hub/eurus-2-rl-data/eurus-2-rl-data-train-00000-of-00004.arrow-/data/oss_bucket_0/seadawn/openlm_hub/eurus-2-rl-data/eurus-2-rl-data-train-00001-of-00004.arrow-/data/oss_bucket_0/seadawn/openlm_hub/eurus-2-rl-data/eurus-2-rl-data-train-00002-of-00004.arrow-/data/oss_bucket_0/seadawn/openlm_hub/eurus-2-rl-data/eurus-2-rl-data-train-00003-of-00004.arrowval_files:/data/oss_bucket_0/seadawn/openlm_hub/eurus-2-rl-data/eurus-2-rl-data-validation.arrow

RLHFDataset支持文件列表输入 3 ，会自动合并多个文件。

Notes

  • 如果使用自定义数据集类，需要确保它继承自torch.utils.data.Dataset4
  • 数据会被下载到本地缓存目录（默认~/.cache/verl/rlhf） 5
  • 可以通过filter_overlong_prompts过滤过长的提示 6

Citations

File:verl/utils/dataset/rl_dataset.py (L92-93)

ifnotisinstance(data_files,list|ListConfig):data_files=[data_files]

File:verl/utils/dataset/rl_dataset.py (L101-101)

self.cache_dir=os.path.expanduser(config.get("cache_dir","~/.cache/verl/rlhf"))

File:verl/utils/dataset/rl_dataset.py (L109-109)

self.filter_overlong_prompts=config.get("filter_overlong_prompts",True)

File:verl/utils/dataset/rl_dataset.py (L130-136)

def_read_files_and_tokenize(self):dataframes=[]forparquet_fileinself.data_files:# read parquet files and cachedataframe=datasets.load_dataset("parquet",data_files=parquet_file)["train"]dataframes.append(dataframe)self.dataframe:datasets.Dataset=datasets.concatenate_datasets(dataframes)

File:verl/trainer/config/data/legacy_data.yaml (L16-20)

# The field in the dataset where the prompt is located. Default is 'prompt'.prompt_key:prompt# The field used to select the reward function (if using different ones per example).reward_fn_key:data_source

File:verl/trainer/main_ppo.py (L300-308)

if"custom_cls"indata_configanddata_config.custom_cls.get("path",None)isnotNone:# Dynamically load the custom dataset classdataset_cls=load_extern_type(data_config.custom_cls.path,data_config.custom_cls.name)# Verify that the custom dataset class inherits from torch.utils.data.Datasetifnotissubclass(dataset_cls,Dataset):raiseTypeError(f"The custom dataset class '{data_config.custom_cls.name}' from "f"'{data_config.custom_cls.path}' must inherit from torch.utils.data.Dataset")

是的，FastRL 会自动合并多个文件，但默认不支持直接处理 arrow 格式。

自动合并多个文件

RLHFDataset类会自动合并多个文件。在_read_files_and_tokenize方法中，它遍历所有文件路径，加载每个文件，然后使用datasets.concatenate_datasets将它们合并成一个数据集 1 ：

def_read_files_and_tokenize(self):dataframes=[]forparquet_fileinself.data_files:# read parquet files and cachedataframe=datasets.load_dataset("parquet",data_files=parquet_file)["train"]dataframes.append(dataframe)self.dataframe:datasets.Dataset=datasets.concatenate_datasets(dataframes)

Arrow 格式支持

默认情况下，RLHFDataset只支持 parquet 格式 2 。要支持 arrow 格式，有两种方案：

方案一：修改加载方式（简单）

datasets 库本身支持 arrow 格式，只需修改一行代码：

# 原代码dataframe=datasets.load_dataset("parquet",data_files=parquet_file)["train"]# 改为dataframe=datasets.load_dataset("arrow",data_files=parquet_file)["train"]

方案二：自定义数据集类（推荐）

创建继承自RLHFDataset的自定义类，重写_read_files_and_tokenize方法 3 ：

fromverl.utils.datasetimportRLHFDatasetclassArrowDataset(RLHFDataset):def_read_files_and_tokenize(self):dataframes=[]forarrow_fileinself.data_files:# 直接加载 arrow 格式dataframe=datasets.load_dataset("arrow",data_files=arrow_file)["train"]dataframes.append(dataframe)self.dataframe=datasets.concatenate_datasets(dataframes)print(f"dataset len:{len(self.dataframe)}")self.dataframe=self.maybe_filter_out_long_prompts(self.dataframe)

然后在配置中指定使用自定义类 4 ：

data:custom_cls:path:/path/to/your/custom_dataset.pyname:ArrowDataset

Notes

  • 多文件合并功能是内置的，无需额外配置 5
  • datasets 库支持多种格式：parquet、arrow、csv、json 等
  • 自定义数据集类必须继承自torch.utils.data.Dataset6

Wiki pages you might want to explore:

  • Data Generation Pipeline (mit-han-lab/fastrl)

Citations

File:verl/utils/dataset/rl_dataset.py (L92-93)

ifnotisinstance(data_files,list|ListConfig):data_files=[data_files]

File:verl/utils/dataset/rl_dataset.py (L130-136)

def_read_files_and_tokenize(self):dataframes=[]forparquet_fileinself.data_files:# read parquet files and cachedataframe=datasets.load_dataset("parquet",data_files=parquet_file)["train"]dataframes.append(dataframe)self.dataframe:datasets.Dataset=datasets.concatenate_datasets(dataframes)

File:verl/trainer/main_ppo.py (L300-308)

if"custom_cls"indata_configanddata_config.custom_cls.get("path",None)isnotNone:# Dynamically load the custom dataset classdataset_cls=load_extern_type(data_config.custom_cls.path,data_config.custom_cls.name)# Verify that the custom dataset class inherits from torch.utils.data.Datasetifnotissubclass(dataset_cls,Dataset):raiseTypeError(f"The custom dataset class '{data_config.custom_cls.name}' from "f"'{data_config.custom_cls.path}' must inherit from torch.utils.data.Dataset")

File:verl/trainer/config/data/legacy_data.yaml (L283-286)










版权声明:

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！













网站建设
2026/5/30 10:59:09



PMC政策文本量化评估


基于python构建的一个完整的PMC（Policy Measurement and Comparison）政策文本量化评估系统，使用Streamlit UI。一、系统架构概览1. 核心架构分层1. 前端交互层 (Streamlit UI)├── 多页面导航系统└── 交互式表单和可视化2. 业务逻辑层├…






作者头像
李华














网站建设
2026/5/22 7:58:46



同花顺短线精灵副图副图指标


{}VAR1:((CLOSE-MA(CLOSE,6))/MA(CLOSE,6)*100(CLOSE-MA(CLOSE,24))/MA(CLOSE,24)*100(CLOSE-MA(CLOSE,32))/MA(CLOSE,32)*100)/3;
持币区域:IF(VAR1<0,ABS(VAR1),0),COLORFEDCBA;
持股区域:IF(VAR1>0,VAR1,0),colorred;
STICKLINE(VAR1>9 AND FILTER(VAR1<REF(VAR…






作者头像
李华














网站建设
2026/5/28 15:18:18



雷达原理学习笔记 1


绪论信息对抗&#xff1a; 分为雷达电抗、通信对抗、网络对抗、光电对抗RADAR  radio detection and ranging电磁波的散射——其中的反射部分&#xff0c;可以获得角度速度距离以及形状的信息雷达的组成天线发射机接收机信号处理机&#xff1a;提取目标的各种信息  终端显示设备…






作者头像
李华














网站建设
2026/5/30 6:17:45



【开题答辩全过程】以 公务员备考微信小程序的设计与实现为例，包含答辩的问题和答案


个人简介一名14年经验的资深毕设内行人&#xff0c;语言擅长Java、php、微信小程序、Python、Golang、安卓Android等开发项目包括大数据、深度学习、网站、小程序、安卓、算法。平常会做一些项目定制化开发、代码讲解、答辩教学、文档编写、也懂一些降重方面的技巧。感谢大家的…






作者头像
李华














网站建设
2026/5/27 10:44:37



从Java到Go：初遇Go语言的震撼体验


从Java到Go&#xff1a;初遇Go语言的震撼体验 
很多Java开发者第一次接触Go&#xff08;Golang&#xff09;时&#xff0c;都会经历一种“震撼”——不是因为它有多复杂&#xff0c;而是因为它极端简洁&#xff0c;像一把锋利的刀&#xff0c;直击痛点。Java像一艘装备齐全的航…






作者头像
李华