news 2026/5/22 15:57:04

Flink ML Bucketizer 连续特征分桶(多列映射、splitsArray、handleInvalid)+ Java 示例解读

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Flink ML Bucketizer 连续特征分桶(多列映射、splitsArray、handleInvalid)+ Java 示例解读

1. Bucketizer 做什么?

Bucketizer 会把输入列(连续值)按你配置的splitsArray切分成区间,并输出区间编号:

  • 输出的桶索引范围:[0, numSplitsInThisColumn - 2](也就是区间数量-1)
  • 文档描述为[0, numSplitsInThisColumn - 1],但通常 splits 的长度为 N,会产生 N-1 个区间,因此索引通常落在[0, N-2](你可以以实际输出为准)

例如 splits 为[-0.5, 0.0, 0.5]

  • 区间1:[-0.5, 0.0)
  • 区间2:[0.0, 0.5]
    最终输出 bucketIndex 为 0 或 1(两段)

2. 输入列与输出列

输入列(Input Columns)

参数名类型默认值说明
inputColsNumbernull需要分桶的连续特征列(可多列)

输出列(Output Columns)

参数名类型默认值说明
outputColsDoublenull分桶后的离散特征(桶索引)列(可多列)

输出是 Double 类型的桶索引(有些场景你也会想转成 Int/Long 或进一步 one-hot)。

3. 核心参数(Parameters)详解

Key默认值必填说明
inputColsnull输入列名数组
outputColsnull输出列名数组
splitsArraynull每个输入列的切分点数组(二维数组)
handleInvalidERROR_INVALID遇到非法值(NaN、越界等)如何处理

3.1 splitsArray:分桶切分点怎么写?

splitsArrayDouble[][],它的长度必须等于inputCols.length,每个子数组对应一个输入列的切分点。

要求/建议:

  • 每个切分点数组要单调递增
  • 通常建议首尾用-INF/+INF包住,避免边界外数据出错
    比如:[-INF, 10.0, +INF]

3.2 handleInvalid:非法值如何处理?

常见策略(示例中使用了SKIP_INVALID):

  • ERROR_INVALID:遇到非法值直接报错(默认)
  • SKIP_INVALID:跳过包含非法值的记录(整行被丢弃)
  • 有的体系还会支持KEEP_INVALID(保留并映射到特殊桶),具体以 Flink ML 实现为准

工程建议:

  • 离线训练:可以用ERROR_INVALID,尽早暴露数据质量问题
  • 在线/生产:更常用SKIP_INVALID或“先做清洗再分桶”,避免任务被脏数据打挂

4. Java 示例逐段解读

你的示例做了 4 列特征同时分桶:

4.1 输入数据

DataStream<Row>inputStream=env.fromElements(Row.of(-0.5,0.0,1.0,0.0));TableinputTable=tEnv.fromDataStream(inputStream).as("f1","f2","f3","f4");

只有一行数据,四个连续特征:f1=-0.5, f2=0.0, f3=1.0, f4=0.0

4.2 配置 splitsArray

Double[][]splitsArray=newDouble[][]{newDouble[]{-0.5,0.0,0.5},// f1:两段newDouble[]{-1.0,0.0,2.0},// f2:两段newDouble[]{Double.NEGATIVE_INFINITY,10.0,Double.POSITIVE_INFINITY},// f3:两段newDouble[]{Double.NEGATIVE_INFINITY,1.5,Double.POSITIVE_INFINITY}// f4:两段};

可以把它理解为:

  • f1在 [-0.5,0) 或 [0,0.5] -> bucket 0/1
  • f2在 [-1,0) 或 [0,2] -> bucket 0/1
  • f3在 (-inf,10) 或 [10,inf) -> bucket 0/1
  • f4在 (-inf,1.5) 或 [1.5,inf) -> bucket 0/1

4.3 创建 Bucketizer 并 transform

Bucketizerbucketizer=newBucketizer().setInputCols("f1","f2","f3","f4").setOutputCols("o1","o2","o3","o4").setSplitsArray(splitsArray).setHandleInvalid(HasHandleInvalid.SKIP_INVALID);TableoutputTable=bucketizer.transform(inputTable)[0];

输出表会保留原列 + 新增o1~o4四个桶索引列。

4.4 打印输入与输出

示例把每列输入与输出读出来并打印:

inputValues[i]=(double)row.getField(bucketizer.getInputCols()[i]);outputValues[i]=(double)row.getField(bucketizer.getOutputCols()[i]);

最终打印类似:

  • Input Values: [-0.5, 0.0, 1.0, 0.0]
  • Output Values: [?, ?, ?, ?](取决于边界规则,通常 0.0 会落在右边区间)

5. 实战建议:分桶到底怎么设计?

1)优先用 -INF / +INF 包住区间

避免线上出现“越界数据导致报错”。

2)分桶边界最好来自数据分布

常见做法:

  • 等频分桶(按分位数)
  • 等宽分桶(按范围均分)
  • 业务阈值分桶(如价格档位、风控评分段)

3)Bucketizer 通常不是最后一步

分桶后的输出是“桶索引”,很多模型更喜欢 one-hot 或 embedding:

  • LR / 线性模型:桶索引 → one-hot(或直接当作类别特征处理)
  • 树模型:可以直接用数值,但分桶可能帮助稳定
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/21 11:34:21

6G显存跑2K生图:腾讯混元Image-2.1轻量化部署实战指南

6G显存跑2K生图&#xff1a;腾讯混元Image-2.1轻量化部署实战指南 【免费下载链接】hunyuanimage-gguf 项目地址: https://ai.gitcode.com/hf_mirrors/calcuis/hunyuanimage-gguf 还在为AI绘画的高门槛而烦恼吗&#xff1f;现在&#xff0c;只需6G显存的普通显卡&#…

作者头像 李华
网站建设 2026/5/21 16:42:32

多模态大模型评估新突破:M3STR基准带你探索抽象视觉知识理解奥秘

本文提出M3STR新基准评估多模态大模型对抽象结构化知识的视觉理解能力。设计计数、检测和补全三种任务&#xff0c;评估26个主流MLLMs。发现当前模型在抽象视觉理解上存在显著缺陷&#xff0c;小模型表现接近随机猜测&#xff0c;开源模型整体优于闭源API。研究表明模型缩放定律…

作者头像 李华
网站建设 2026/5/21 18:49:39

如何突破115云盘下载限制?Aria2加速导出终极方案

你是否曾经为115云盘中大量文件的下载效率而苦恼&#xff1f;面对几百GB的照片、视频或工作文档&#xff0c;传统的浏览器下载方式不仅速度慢&#xff0c;还经常因为网络中断而前功尽弃。现在&#xff0c;一个名为115Exporter的Chrome扩展工具彻底改变了这一局面。 【免费下载链…

作者头像 李华
网站建设 2026/5/20 23:45:52

基于SpringBoot + Vue的足球训练营系统的设计与实现

文章目录前言一、详细操作演示视频二、具体实现截图三、技术栈1.前端-Vue.js2.后端-SpringBoot3.数据库-MySQL4.系统架构-B/S四、系统测试1.系统测试概述2.系统功能测试3.系统测试结论五、项目代码参考六、数据库代码参考七、项目论文示例结语前言 &#x1f49b;博主介绍&#…

作者头像 李华
网站建设 2026/5/22 10:46:57

YOLO模型训练超参搜索工具上线,自动化GPU实验

YOLO模型训练超参搜索工具上线&#xff0c;自动化GPU实验 在智能制造、自动驾驶和工业质检等场景中&#xff0c;实时目标检测早已不再是“有没有”的问题&#xff0c;而是“快不快、准不准、稳不稳”的工程较量。面对每秒上百帧的视频流输入&#xff0c;传统两阶段检测器如Fast…

作者头像 李华