news 2026/5/25 13:26:05

Flink ML 数据类型:Vector 向量类型入门(DenseVector / SparseVector)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Flink ML 数据类型:Vector 向量类型入门(DenseVector / SparseVector)

1. Flink ML 的数据类型支持范围

Flink ML 支持:

  1. Flink Table API 支持的全部类型
    例如:BOOLEAN / INT / BIGINT / DOUBLE / STRING / ARRAY / MAP / ROW / TIMESTAMP等。

  2. Flink ML 在此基础上补充的类型
    最典型就是Vector(向量),用于表示模型输入的特征。

2. Vector 是什么?

在 Flink ML 中,Vector 表示一个double 数组形式的向量,并且有两个具体实现:

  • DenseVector(稠密向量)

    • 大部分维度都有值(或你希望用数组直接存储所有维度)
    • 适合维度不算特别高、或者特征不是很稀疏的场景
  • SparseVector(稀疏向量)

    • 只有少量维度有非零值
    • 适合高维稀疏特征(比如 one-hot、词袋、特征哈希等)

无论 Dense 还是 Sparse,Flink ML 的 Vector 都具备这些共同特点:

  • 向量在创建时就固定size(维度)
  • 支持按0-based 下标读取 / 设置某一维的 double 值
  • 都用于表达“特征列”,常见列名是features

3. Vectors 工具类:创建向量更方便

Flink ML 提供了Vectors工具类,用来快速构造 DenseVector / SparseVector。

4. Java 示例:构造 SparseVector

你给的示例含义是:

  • 向量维度n = 4(即下标范围 0~3)
  • 只有下标0,2,3是非零维度
  • 对应值分别是0.1, 0.3, 0.4
intn=4;int[]indices=newint[]{0,2,3};double[]values=newdouble[]{0.1,0.3,0.4};SparseVectorvector=Vectors.sparse(n,indices,values);

这等价于一个完整的 dense 表达:

[0.1, 0.0, 0.3, 0.4]

5. 你在工程里什么时候用 Dense / Sparse?

用 DenseVector 的典型情况

  • 特征维度较小(比如几十维、几百维)
  • 大多数维度都有值(不稀疏)
  • 特征已经是数值型统计特征(pv/click/avg_duration 等)

用 SparseVector 的典型情况

  • 特征维度很高(几千、几万甚至更高)

  • 绝大多数维度都是 0(稀疏)

  • 常见于:

    • one-hot 编码后的离散特征
    • 文本特征(词袋/TF-IDF)
    • 特征哈希

6. 实用小提示:SparseVector 的注意事项

在构造稀疏向量时,建议保证:

  • indices.length == values.length
  • indices 取值范围必须在[0, n-1]
  • indices 最好是严格递增且不重复(很多实现会假设这一点,或性能更好)
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/21 20:07:28

PaddlePaddle镜像中的Tokenizer如何处理中文分词?

PaddlePaddle镜像中的Tokenizer如何处理中文分词? 在构建中文自然语言处理系统时,一个常见的挑战是:如何让模型“理解”没有空格分隔的汉字序列? 比如,“我在百度做深度学习研究”这句话,对人类来说能自然切…

作者头像 李华
网站建设 2026/5/23 15:06:00

右键菜单管理终极指南:5分钟快速检测与修复所有冲突

右键菜单管理终极指南:5分钟快速检测与修复所有冲突 【免费下载链接】ContextMenuManager 🖱️ 纯粹的Windows右键菜单管理程序 项目地址: https://gitcode.com/gh_mirrors/co/ContextMenuManager 你是否遇到过右键菜单加载缓慢、选项重复出现、某…

作者头像 李华
网站建设 2026/5/22 11:38:33

ContextMenuManager右键菜单管理终极指南:一键解决Windows右键混乱

ContextMenuManager右键菜单管理终极指南:一键解决Windows右键混乱 【免费下载链接】ContextMenuManager 🖱️ 纯粹的Windows右键菜单管理程序 项目地址: https://gitcode.com/gh_mirrors/co/ContextMenuManager 你的右键菜单是否正在"堵车&…

作者头像 李华
网站建设 2026/5/23 17:23:19

WHAT - 幽灵依赖 phantom dependencies

一、什么是 phantom dependencies(幽灵依赖) 一句话定义phantom dependency(幽灵依赖) 指的是: 你的代码里 import 了一个包,但这个包并没有出现在你的 package.json 的 dependencies 里,却“刚…

作者头像 李华
网站建设 2026/5/24 12:51:31

LeaguePrank:英雄联盟玩家的终极自定义段位修改神器

LeaguePrank:英雄联盟玩家的终极自定义段位修改神器 【免费下载链接】LeaguePrank 项目地址: https://gitcode.com/gh_mirrors/le/LeaguePrank 想要在英雄联盟中展示与众不同的段位和生涯数据吗?LeaguePrank就是你的完美解决方案!这款…

作者头像 李华