DataHub Cloud v0.3.16 版本发布说明：结构化属性提案、Ask DataHub 公测与连接器增强全景解析-平芜编程栈

DataHub Cloud v0.3.16 版本发布说明：结构化属性提案、Ask DataHub 公测与连接器增强全景解析

【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub

导读：本文基于 DataHub（Acryl DataHub Cloud 服务版）官方发布文档 v_0_3_16.md，系统梳理 v0.3.16 及后续 7 个补丁版本（v0.3.16.1 至 v0.3.16.7-acryl）的核心变更：Ask DataHub 与 Context Documents 转公测、结构化属性提案流程、Smart Freshness 断言调优、一批新数据源连接器（Azure Data Factory、Snowflake Semantic Views、Oracle 增强、Kafka Connect 智能血缘等），并结合本仓库源码（metadata-ingestion中的 Tags→Structured Properties 转换器与avro_schema_to_mce_fields校验扩展）对关键功能做落地解读。阅读本文，你可以掌握 v0.3.16 的版本配套关系（CLI/SDK、Remote Executor、Helm、API Gateway 的推荐版本矩阵）、已知问题规避方案，以及如何在本地数据管道中复现本版本引入的标签迁移与 Avro 名称校验能力。

一、版本总览与配套矩阵

1.1 主版本信息

v0.3.16 的发布可用日期（Release Availability Date）为2026-01-19，是 Acryl DataHub Cloud 系列在 2026 年初的一次大版本更新。它不仅在功能层面一次性引入多项 Public Beta 能力，还在后续数月中持续以补丁形式演进（直至 2026-04-08 的 v0.3.16.7-acryl），因此阅读本版本时建议同时关注 release-notes 目录下的其他发布说明以掌握演进脉络。

1.2 推荐版本配套（Recommended Versions）

CLI/SDK：1.3.1.7.post1
Remote Executor：v0.3.16-acryl（推荐）、v0.3.15-acryl、v0.3.14.1-acryl
On-Prem 版本：
- Helm：1.5.173（后在 v0.3.16.5-acryl 中更新为1.6.20，并在 v0.3.16.3 已知问题中建议升级至1.6.12及以上）
- API Gateway：0.6.0
- Actions：0.0.3

⚠️ 若你的部署采用 Helm 方式，务必结合下文“已知问题”一节核对 Helm chart 版本，避免命中 scroll 分页缺陷。

二、v0.3.16 主版本亮点（2026-01-19）

2.1 Ask DataHub：转 Public Beta，走向多端与多模型

Ask DataHub 对话助手正式进入Public Beta，面向所有客户开放，覆盖DataHub 界面、Slack、Microsoft Teams三个入口。如果你不希望实例启用 Ask DataHub，需要联系客户代表关闭。围绕它有三项重点变化：

Context Documents（Public Beta）：支持在 DataHub 中创建 Runbooks、FAQ、业务定义、决策日志等上下文文档，可链接到相关数据资产与文档，并可在准备就绪后再对外发布，供 Ask DataHub 和团队成员引用。这与仓库中的文档体系（例如 docs/features/feature-guides/context/context-documents.md）对应。
Editing Tools 进入 Ask DataHub 与 MCP Server：现在可以通过自然语言直接修改数据资产，例如更新描述、增删标签（tags）、术语（terms）、域（domains）、结构化属性（structured properties）与所有者（owners）。
Gemini on GCP：托管于 Google Cloud Platform 的客户，其 Ask DataHub 等 AI 功能可通过 Gemini 提供支持（需联系客户代表开启）。

此外，Ask DataHub 还引入了AI Chat Modes（v0.3.16.1-acryl，Private Beta）与聊天反馈（Chat feedback，Private Beta），并在 v0.3.16.2+ 中持续优化任务中心（Task center）性能。

2.2 观测能力（Observe）增强

Observe Python SDK：完整支持管理全部原生断言类型，包括列值（column value）、Smart SQL 与 Schema 断言。仓库中可参考 datahub-actions 与 docs/managed-datahub/observe 的观测文档体系。
按需断言（On-demand assertions with parameters）：在断言的 SQL 语句中使用模板参数，运行时动态替换，实现按需触发。
Smart Freshness 断言调优：可标记历史异常、添加排除窗口（exclusion windows）、调节灵敏度，改进未来新鲜度异常检测。
Query Attribution：Observe 发出的仓库查询会携带查询标签，Snowflake 使用 query tags、BigQuery 使用 job labels、Redshift 与 Databricks 使用标准 SQL 注释，便于成本归因。
Data Consistency：对 Assertion 与 Monitor 实体增加了额外的校验与检查。

2.3 连接器与数据管道

Azure Data Factory Connector：新增一等公民连接器，用于摄取 ADF 管道元数据，原生跟踪基于 Azure 的数据编排工作流。
Snowflake Semantic Views：支持摄取 Snowflake 语义视图，扩展元数据覆盖。
Enhanced Oracle Connector：支持物化视图、存储过程与使用统计。
Kafka Connect Intelligent Lineage：可从 DataHub 自动推断血缘，大幅减少 Kafka 管道的人工血缘配置。
Hive Metastore Upstream Lineage：新增 Hive 表的数据流追踪能力；同时新增Hive Thrift 连接模式 + Kerberos，用于企业 Hadoop 环境的加密连接。
S3 File Sink：恢复直接写入 S3 的能力，支持 S3 元数据存储与备份。
OAuth 支持 Kafka 集成：为 Kafka producers 和 sinks 增加 OAuth 回调。
PowerBI Amazon Athena Lineage：支持从 PowerBI 仪表盘到 AWS 数据的跨平台血缘。
Redshift Query Tagging：Redshift 查询携带查询标签。
Tags to Structured Properties Transformer：将标签转换为结构化属性的新 transformer——详见下文“核心功能落地解读”。

2.4 改进、修复与兼容性

SQL 解析增强：MSSQL 语句分割（表达式以括号结尾）、Dremio 等源的 3+ 部分表名、Snowflake 一致的列级血缘。
兼容性修复：Confluent Kafka 2.13 破坏性变更、Metabase 0.57+（legacy-mbql 参数支持）、Docker Compose 5.x（quickstart 环境）。
安全与稳定性：SQLAlchemy 密码掩码编码、Fivetran REST API 错误处理、Grafana 连接器多项问题、MSSQL 存储过程血缘。
连接器可靠性：Redshift 血缘忽略禁用标志、BigQuery 临时表大小写归一化、Unity Catalog schema 模式处理、CSV enricher 远程文件 HTTP 状态检查、Fivetran 带引号标识符处理。
SDK 增强：Python SDK 支持参数化断言运行、DataJob 环境默认值（使用 flow_urn 时）、结构化属性版本字段支持。

2.5 其他修复

Snowflake 私有密钥认证支持。
“By Assertion” 页签的数据健康仪表盘链接分享修复。
Slack 对遗留断言失败的告警正确路由到断言。
修复损坏的遗留断言导致其他断言不显示的问题（MCP Upgrade Step 失败）。
首页域模块的视图授权问题。
摄取列表点击 executor 名称后可能出现的错误页。
部分断言未显示在数据集质量页签的问题。
外部上报的断言运行事件未触发通知的问题。
非活跃 metadata-tests 的分页修复（确保批处理模式下处理全部 metadata tests）。
ElasticSearch setup 在 system-update 流程中的多项修复、影响分析部分结果修复、CI 稳定性修复。

三、补丁版本演进（v0.3.16.1 至 v0.3.16.7-acryl）

版本	日期	关键内容
v0.3.16.1-acryl	-	AI Chat Modes（Private Beta）、聊天反馈、Lineage 卡片图片 fallback、More filters UX 改进
v0.3.16.2-acryl	-	固定 acryl-datahub CLI/SDK 至 1.3.1.7、更多 filters 下拉 tooltip 修复、任务中心不再为 action requests 拉取 schema 元数据（性能）
v0.3.16.3-acryl	-	GraphQL 跳过 sibling search（性能）、FastMCP 升级、Forms 查询优化、OpenAPI scroll 修复、GraphQL 递归防护、资产下载 filters 修复、lineage 受限实体处理、任务中心 workflow 名称、acryl-executor 环境变量透传、setuptools<82 约束、两阶段搜索排序（Private Beta）、文档实体语义搜索（Private Beta）、恢复 Gzip 压缩（#16036）、GraphQL 无限递归防护（#16114）、OpenSearch ReIndex 配置（#16128）
v0.3.16.4-acryl	-	数据产品提案、查询表中用户、任务中心表单数据、server-side Semantic Search Configs（bedrock）GraphQL 修复、Open AI Proxy 转发 LLM 调用时自定义 headers、OpenSearch rescoring 日志清理
v0.3.16.5-acryl	-	Helm 1.6.20；ES/OpenSearch object 类型映射`dynamic: true`（避免 reindex 循环）；索引构建可配置 slow-op 超时、count 重试、createIndex 重试；搜索引擎检测失败原因写入 IOException；ES8 reindex 使用`waitForCompletion(false)`；保留策略按 (urn,aspect) DELETE；保留摄取移至 datahub-upgrade 非阻塞步骤；ingestion 依赖更新（setuptools<82、urllib3 1.26.x、Snowflake connector≥4、cryptography≥46、新增 gcs-slim/abs-slim）；`avro_schema_to_mce_fields`支持可选`validate_names`；Snowflake`private_key`支持 SecretStr 与 str；固定 cryptography≥46.0.5（CVE-2026-26007）。“Entities per platform” 图表排除查询索引；OIDC 设置默认值显示优化；搜索栏选择实体后保留查询与建议；文档编辑器主题感知工具栏；Confluence recipe 配置路径更新为`spaces.allow/deny`与`pages.allow/deny`；Slack/Teams 聊天排除 USER- 与 MUTATION- 标记工具；明暗主题 token 扩展
v0.3.16.6-acryl	2026-04-07	安全：OIDC 不再通过 GraphQL 暴露 client secret（仅用`hasClientSecret`），SSO 保存错误通过从更新 mutation 中省略只读字段修复（#8887）。产品：结构化属性提案（#8103）、摄取 UI 缓存 bug 修复（#8533）、批量编辑对齐、实体档案中非可编辑字段与可编辑结构化属性一致使用显示名（#8352）。平台：CI/镜像`copy_re`workflow 变体列表修复、部分同步与版本对齐 acyl-main（#8844）
v0.3.16.7-acryl	2026-04-08	Remote executor：内置 acryl-executor 升级至0.3.5.1（原 0.3.5）；摄取功能的能力检查不再使用固定子进程超时，慢冷启动更不容易失败

四、核心功能落地解读：从发布说明到仓库源码

4.1 结构化属性提案（Structured Property Proposals，v0.3.16.6-acryl，#8103）

本补丁的核心是让结构化属性的编辑体验更清晰：

在资产和数据集 Schema 列上，区分两条路径：拥有完整写权限时可直接编辑/upsert；否则进入需要审批的提案流程。
分离两种操作：提议新增结构化属性值与提议更新已有值（更新提案不能新增属性）。
同一模式也应用于 Schema 字段的列级。

这套功能与仓库中结构化属性的完整能力呼应：类型化取值、约束支持、按实体挂载。参考 docs/api/tutorials/structured-properties.md 可了解创建、列表、读取、删除、挂载、patch、破坏性 schema 变更与搜索聚合的完整 API 流程。

4.2 Tags → Structured Properties Transformer（v0.3.16 主版本）

发布说明提到的新 transformer 在仓库中已有完整实现与单测：

实现：tags_to_structured_properties.py
单测：test_tags_to_structured_properties.py

该转换器支持两种标签格式：

键值对标签（如dept:Finance）：键成为属性 ID，值成为属性值。可通过key_value_separator（默认:）与key_value_property_prefix（属性 ID 前缀）配置；分隔符按首次出现切分（a:b:c→("a", "b:c")，见单测test_parse_key_value_tag_helper）。
关键字标签（如Finance）：通过tag_structured_property_map（属性 ID → 匹配关键字列表的倒排索引）映射到预定义属性。

行为标志：

process_key_value_tags（默认false）：启用键值对解析；开启后键值对解析优先于关键字映射（单测test_key_value_takes_precedence验证）。
remove_original_tags（默认false）：是否在转换后移除原始标签。
一个属性可以累积多个值（test_multiple_tags_same_property验证同一属性的多个值）。
转换结果输出两个 aspect：原globalTags（或None表示移除）与新增structuredProperties；无匹配时仅返回globalTags并记录 WARNING（test_unmatched_tags_warning）。
支持实体类型：dataset、chart、dashboard、dataJob、dataFlow、schemaField（entity_types()方法）。

一个可运行的 recipe 配置示例（来自源码 docstring）：

transformers: - type: "tags_to_structured_properties" config: process_key_value_tags: true key_value_separator: ":" key_value_property_prefix: "io.company." tag_structured_property_map: "io.company.department": values: ["Finance", "Sales", "Marketing"] "io.company.dataClassification": values: ["PII", "Confidential"] remove_original_tags: false

4.3 Avro Schema 名称校验（v0.3.16.5-acryl）

avro_schema_to_mce_fields新增可选参数validate_names（默认false），当为false时允许非合法 Avro 名称（例如包含连字符的字段名）通过解析。实现位于 schema_util.py：字符串形式的 Avro schema 会以avro.schema.parse(avro_schema, validate_names=validate_names)解析。相关使用方包括 Confluent Schema Registry 与 Kafka 源（metadata-ingestion/src/datahub/ingestion/source/confluent_schema_registry.py、kafka.py、kafka_profiler.py），单测见metadata-ingestion/tests/unit/test_schema_util.py。

4.4 平台稳定性与检索/索引增强（v0.3.16.5-acryl）

ES/OpenSearch：object 类型映射设置为dynamic: true（如 ownerTypes），避免 reindex 循环；ES8 reindex 采用waitForCompletion(false)异步执行；索引构建支持可配置的 slow-op 超时、count 重试与可选的 createIndex 重试；搜索引擎检测失败原因写入 IOException 并做 null-safe 版本检查。
Retention：改为按 (urn, aspect) 的 DELETE 以更好地利用索引；仅当策略允许时保留版本历史；保留摄取移至 datahub-upgrade 的非阻塞步骤。

4.5 依赖与供应链（v0.3.16.5 与 v0.3.16.3）

setuptools <82、urllib3 1.26.x约束（同时在 acryl-cloud 与 datahub-executor 的 build isolation 中生效）。
Snowflake 依赖更新：connector ≥ 4、cryptography ≥ 46；并固定cryptography>=46.0.5以修复 CVE-2026-26007。
新增 gcs-slim / abs-slim 变体。
FastMCP 升级至最新版本（改进 MCP server 能力）。

五、已知问题与规避方案（务必阅读）

系统升级可能在 v0.3.16.3 上卡住，原因是 scroll 分页问题。规避方式二选一：

将 Helm chart 升级至1.6.12或更高版本；
在 GMS 上设置环境变量ELASTICSEARCH_QUERY_RESCORE_ENABLED=false并重启。

同时结合 v0.3.16.5 的索引修复（dynamic: true、异步 reindex、重试机制），建议在升级路径上优先采用较新的 Helm chart 与补丁版本。

六、升级与实践建议

版本配套：升级前先确认 CLI/SDK（1.3.1.7.post1）、Remote Executor（首选v0.3.16-acryl）、Helm（1.6.20及以上）、API Gateway（0.6.0）、Actions（0.0.3）之间的兼容性。
安全优先：v0.3.16.6 已封堵 OIDC client secret 经 GraphQL 暴露的漏洞，升级后可仅依赖hasClientSecret判断，且不要在自定义 mutation 中写入只读字段。
AI 能力开关：Ask DataHub 已默认公测，如需关闭请联系客户代表；GCP 客户可申请启用 Gemini 后端。
标签治理迁移：若计划从 Tags 迁移到结构化属性，可直接复用tags_to_structured_propertiestransformer，先在测试环境验证关键字映射与键值对解析的覆盖面，再决定是否启用remove_original_tags。
升级避坑：在 Helm chart 达到 1.6.12+ 前，记得配置ELASTICSEARCH_QUERY_RESCORE_ENABLED=false以规避升级挂起。