OpenMetadata 元数据管理平台快速上手:3 步跑通到第一张表入目录
【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadata
表一多,"这张表谁负责、能不能用、改了影响谁"就没人说得清。OpenMetadata 是开源元数据管理平台,把表结构、血缘、质量信号、责任人收进一个持续自动更新的目录。这篇不啃官方文档,先带你 10 分钟跑起来,再讲它怎么干活。
表多了以后,这三个问题每天都在发生
新人第一天上手,先问"用户订单表在哪个库";数仓工程师想改一个字段,要先确认下游谁在用;安全审计要查哪些列存了手机号。这些答案现在散在 wiki、群聊和老员工脑子里。
元数据就像仓库抽屉上的目录卡片:不用翻遍每个抽屉,看一眼就知道东西在哪、谁放的、什么时候更新的。OpenMetadata 做的事就是把每张表、每列的目录卡片自动建好并持续刷新,而不是靠人手工维护。
OpenMetadata 部署三步走:一个命令拉起四个容器
准备一台装了 Docker 的机器,内存留 8GB 以上。然后:
git clone https://gitcode.com/GitHub_Trending/op/OpenMetadata cd OpenMetadata/docker/docker-compose-quickstart docker compose up -d这段命令做了什么:克隆仓库后直接进入 quickstart 目录启动。compose 文件里已经配好 MySQL(3306)、Elasticsearch(9200)、服务本体(8585)和 Airflow 摄取服务(8080),四个容器按依赖顺序自动启动,建库迁移也会自动跑完,你不用逐个敲。
等两三分钟,浏览器打开http://localhost:8585,默认账号和密码都是 admin,能进首页就说明部署成功。
登录后先看这三块
- Explore:全局搜索入口。输入"用户订单",能同时搜到表、主题、仪表板、管道和列,不用切页面。
- Services:注册你的数据库、BI 工具、管道,后面所有数据都从这里进来。
- Data Quality:无代码写测试(空值率、唯一性、新鲜度),结果按测试套件分组,图表里直接看趋势。
这三块覆盖日常大部分操作,其余菜单用到再翻 docs/ 里的对应说明。
元数据摄取入门:把第一张表接进来
把真实数据源接进来有两条路:在 UI 上点选,或用命令行跑摄取器。命令行最快,仓库自带样例配置:
cd ingestion python -m metadata.ingestion ingest --service=mysql_db --config=examples/sample_configs/datasets/mysql.yaml用仓库示例里的 MySQL 配置从头跑一遍摄取:扫描表结构、建目录、把结果写回服务端。service 名必须和配置文件里声明的一致,否则报错。摄取器源码都在 ingestion/ 下,想接新数据源可以照着现有样例抄。
跑完回 Explore 搜刚才那张表,能看到字段、类型和负责人。quickstart 里还带着 Airflow,之后可以在 UI 里建定时摄取管道,不用碰命令行。
新手只需改两处:数据库切换与 OIDC 认证配置
默认配置能跑,真正用之前一般只动两个地方,都在 docker/docker-compose-quickstart/ 的环境变量里:
- 换库:不想用 MySQL,就把
DB_SCHEME、DB_HOST、DB_PORT、OM_DATABASE改成你自己的;同目录已有现成的docker-compose-postgres.yml可参考。 - 换认证:默认 admin 账号只适合内网试用。接公司账号体系时,把
AUTHENTICATION_PROVIDER从 basic 改成 oidc,补上 OIDC 的 client id、回调地址等变量,重启容器生效。
其余几十项配置都有默认值,先别碰,用到哪个改哪个。
端口冲突与日志:常见卡点排查顺序
⚠️ 页面打不开时,按这个顺序查,别跳步:
docker compose ps看四个容器是否都变成 healthy;- 端口被占:8585、3306、9200 任一冲突都会启动失败,用
lsof -i:8585找出占用进程; - 容器反复重启:
docker compose logs -f openmetadata-server看最后一屏报错,多半是连不上 MySQL 或 Elasticsearch。
服务起来后,日常体检就一条命令:
curl -s http://localhost:8585/api/v1/system/health返回的 JSON 里各项为 UP,就说明服务端、数据库、搜索引擎都活着。
打开终端跑完上面几条命令,浏览器打开http://localhost:8585用 admin/admin 登录,再把你自己的那张 MySQL 表配进摄取——你的元数据管理平台就跑起来了。
【免费下载链接】OpenMetadataThe Open Context Layer for Data and AI , OpenMetadata is the open platform for building trusted data context and business semantics for humans, AI assistants, and agents.项目地址: https://gitcode.com/GitHub_Trending/op/OpenMetadata
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考