news 2026/11/3 9:19:56

【Flink实战】Flink -C实现类路径配置与实现UDF Jar

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【Flink实战】Flink -C实现类路径配置与实现UDF Jar

文章目录

    • 1. 描述
    • 2. 使用语法
    • 3. `-C` 适用的 Flink 运行模式
    • 4. USING JAR 不可用

1. 描述

Flink 中的-C选项用于将 URL 添加到作业的类加载器中。URL可以指向本地、HTTP 服务器或 HDFS 等资源的Jar文件。

注意:

  1. 此处的classpath的url必须是一个能够在client,JM和TM都被访问到的位置。
  2. 此位置从client端的提交到JM的分发到TM的访问的过程中,不会发生文件移动的动作。
  3. url支持的协议包括file,ftp,gopher,http,https,jar,mailto,netdoc,亦即java中URL类支持的协议类型。
  4. 注意:不能放在hdfs上。否则会报错:Bad syntax for classpath: hdfs://xxx。

2. 使用语法

flink run\-Chttp://home/user/flink-udf1.jar\-Chttp://home/user/flink-udf2.jar\-jjob.jar

配置多个udf:每个-C选项只能对应一个 JAR,不能用逗号,分隔多个路径。

如下示例,

从Taskmanager日志可以看到成功加载https格式的jar包

url路径的结尾可以不以.jar结尾

3.-C适用的 Flink 运行模式

运行模式是否支持-C
Standalone(独立模式)✅ 支持
YARN Session✅ 支持
YARN Per-job✅ 支持
Kubernetes✅ 支持
Local(本地模式)✅ 支持

4. USING JAR 不可用

使用Flink Sql加载udf

CREATEFUNCTIONmy_udfAS'com.example.MyUDF'USINGJAR'hdfs://namenode:9000/flink-udf.jar';

报错:直接不可用。

org.apache.flink.api.common.InvalidProgramException: Table program cannot be compiled. This is a bug. Please file an issue. at
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/11/3 9:17:20

项目八 防火墙基本配置

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/11/3 9:16:06

为什么选择PP-LCNet_x1_0_textline_ori_onnx:高效文本方向检测的7大优势

为什么选择PP-LCNet_x1_0_textline_ori_onnx:高效文本方向检测的7大优势 PP-LCNet_x1_0_textline_ori_onnx是飞桨PaddlePaddle推出的轻量级文本方向检测模型,专为高效识别文本行方向(0度或180度)设计。该模型基于PP-LCNet架构优化…

作者头像 李华
网站建设 2026/11/3 9:14:35

eslav_PP-OCRv5_mobile_rec_onnx后处理技术:CTCLabelDecode算法原理与应用

eslav_PP-OCRv5_mobile_rec_onnx后处理技术:CTCLabelDecode算法原理与应用 在OCR(光学字符识别)技术中,后处理是将模型输出的原始数据转换为可读文本的关键步骤。eslav_PP-OCRv5_mobile_rec_onnx作为轻量级的移动端文字识别模型&…

作者头像 李华
网站建设 2026/11/3 9:14:22

如何快速部署th_PP-OCRv5_mobile_rec_onnx:5步完成泰语文字识别系统搭建

如何快速部署th_PP-OCRv5_mobile_rec_onnx:5步完成泰语文字识别系统搭建 想要快速搭建一个高效的泰语文字识别系统吗?th_PP-OCRv5_mobile_rec_onnx为您提供了一个完整的解决方案。这个基于飞桨PaddlePaddle框架的泰语OCR模型,通过ONNX格式实…

作者头像 李华