news 2026/8/14 20:42:34

hudi系列-旧文件清理(clean)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
hudi系列-旧文件清理(clean)

1. 简介

hudi采用的是mvcc设计,提供了清理工具cleaner来把旧版本的文件分片删除,默认开启了清理功能,可以防止文件系统的存储空间和文件数量的无限增长。

1.1 环境

  • flink 1.13.6
  • hudi 0.11.0

1.2 清理保留策略

清理旧文件需要考虑数据查询的情况,有些长查询会占用着旧版本的文件,需要设置合适的清理策略来保留一定数量的commit或者文件版本,以提高系统的容错性

  • KEEP_LATEST_COMMITS:默认策略,表示保留最后n次提交,默认为10,通过参数hoodie.cleaner.commits.retained​或clean.retain_commits​(flink)设置
  • KEEP_LATEST_FILE_VERSIONS:保留最后n个文件版本,默认为3,通过参数hoodie.cleaner.fileversions.retained设置​
  • KEEP_LATEST_BY_HOURS:保留最后n小时,默认24小时,通过参数hoodie.cleaner.hours.retained设置,这是0.11版本后新增的

1.3 清理触发策略

目前仅支持一种触发清理的策略:CleaningTriggerStrategy#NUM_COMMITS,即根据提交的次数,默认为1,可以通过设置参数hoodie.clean.max

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/14 20:38:17

第10章:权限控制与图像报表-02-图形报表(全)

2. 图形报表ECharts 2.1 ECharts简介 ECharts缩写来自Enterprise Charts,商业级数据图表,是百度的一个开源的使用JavaScript实现的数据可视化工具,可以流畅的运行在 PC 和移动设备上,兼容当前绝大部分浏览器(IE8/9/1…

作者头像 李华
网站建设 2026/8/14 20:17:42

【Spring Cloud Alibaba】Nacos(一)

【Spring Cloud Alibaba】Nacos0. Spring Cloud Alibaba 组件1. 什么是Nacos,它都能干什么?1.1 注册中心演变及其思想1.2 Nacos Discovery1.3 远程调用流程图1.4 一个微服务的流程1.4 常用注册中心对比2. Nacos Server部署3. Nacos Client搭建4. Nacos管…

作者头像 李华
网站建设 2026/8/14 20:14:25

希尔排序 → 缩步插缝法 超详细讲解

前置基础:插入排序 → 插缝排队法希尔排序是插入排序的优化版,所有核心逻辑都建立在插入排序之上。先搞懂插入排序,希尔排序就能一眼看懂。核心思想插入排序的逻辑和我们打扑克牌理牌完全一致:把数组分成「已排序区」和「未排序区…

作者头像 李华
网站建设 2026/8/14 20:12:57

fatal error: ‘type_traits‘ file not found

使用 Clang编译代码时报如上所述的错误,原因是 Clang只是一个“前端编译器”,它不自带完整的底层运行时库和启动代码,在 Linux平台上必须依赖 GCC的工具链来完成最终的程序生成。 Clang驱动会扫描 /usr/lib/gcc/x86_64-linux-gnu/目录下的所有…

作者头像 李华