简介:这份《数据治理实施文档Word》面向数据治理平台实施人员、数据中台建设者与数据资产运营从业者,系统梳理从平台概念到落地部署的完整知识链路。内容围绕标准平台、主数据、质量平台、元数据平台、数据资产服务与过程管理等模块展开,涵盖数据资产登记确权、核验与质量评价、价值评估入表、公共数据授权运营、可信数据空间等关键环节,并给出实施策略、工作职责划分与安装部署要点,适合需要搭建或运维数据治理体系的中高级技术人员参考。资源包共1个docx文件,约17.99MB,文档结构完整、章节清晰,便于按模块查阅与内部培训使用。目前已有73人学习下载,可作为数据治理项目落地、平台部署与流程规范的实操参考材料。
1. 从一份 109 页 Word 说起:数据治理平台到底怎么落地
很多做数据中台的朋友拿到一份 109 页的《数据治理实施文档》时,第一反应是"这玩意儿能直接抄吗"。我拆过几份类似的实施文档,说实话,能落地的和只能当摆设的差别很大。这份文档的价值在于它把标准平台、主数据平台、质量平台、元数据平台、数据资产服务、过程管理这六大模块的部署路径、库表结构、DBLink 配置、License 申请流程全部写死了,不是那种泛泛而谈的 PPT 方案。它适合两类人:一类是刚接手数据治理项目、需要照着把环境搭起来的实施工程师;另一类是已经在做数据中台、想搞清楚标准库和业务库之间映射关系到底怎么设计的架构人员。如果你手上正好有 Oracle 12c 环境和 Linux 服务器,这份文档基本能让你从零把平台跑起来。
2. 六大平台拆解:标准库、主数据库、质量库到底谁依赖谁
2.1 平台组成与发版依赖关系
文档里把平台拆得很清楚,但真正容易翻车的是发版依赖。标准平台(LY_IS)和主数据平台(LY_MDP)必须一起发版,这不是建议,是硬约束。原因在于标准平台负责建表和标准维护,主数据平台负责数据下行交换,两者共用 LY_ISYWK 这个物理库。质量平台(LY_QMP)看现场需求决定是否发版,元数据平台(YX_YJS)和数据资产服务(LY_GS)按项目时间情况部署,过程管理平台(LY_YSJ)在 2019 年 10 月之后的新项目地是必须部署的。
这里有个关键点:旧版数据中心 LY_SDC 的所有标准表创建在 LY_SDC 下,和平台库共用一个表空间。而新版标准平台把表统一建到 LY_ISYWK 下。理想情况下,LY_SDC 等于 LY_ISYWK,小于等于数据治理的标准。这意味着如果你要从旧版迁移到新版,表名称不能变,否则兼容性直接崩掉。
| 平台名称 | 英文缩写 | 数据库用户 | 是否必须 |
|---|---|---|---|
| 标准平台 | LY_IS | LY_IS / LY_ISYWK | 必须 |
| 主数据平台 | LY_MDP | LY_MDP / LY_HIS / LY_DWH | 必须 |
| 质量平台 | LY_QMP | LY_QMP | 按需 |
| 元数据平台 | YX_YJS | YX_YSJ | 按需 |
| 过程管理 | LY_YSJ | LY_YSJ | 新项目必须 |
| 数据资产服务 | LY_GS | LY_GS | 按需 |
2.2 标准库与业务库的映射策略
文档里反复强调一个对立关系:整理标准固化标准和 ODI 寻找映射关系是对立的。什么意思?如果你觉得新增一个和业务库一致的标准表更省事,那数据库交换过程就是表对拷,简单粗暴。但如果标准已经确定了,你就得做数据交换,寻找和标准对应的字段映射关系。两者不可能都讨巧。
我一般会建议团队先通读标准维护的表结构内容至少 3 遍,做数据交换的人尤其要熟。做标准维护的人则要熟悉每个表的内涵和存储对应的业务逻辑。文档里提到内置表有 1300 多张,全量集成,使用业务域分类的标准。这意味着你需要大量的新增表和整理表工作。
实际操作中,数据下行统一从 LY_ISYWK 进行下行数据交换。常规数据可以先查看导出的 Excel 文档直接分析,找不到表就新增,然后进行新增标准。这个流程看起来简单,但坑在于:标准全局库系统、ODI 项目文件夹系统、过程系统名称必须统一,否则后面联调时对不上号。
2.3 工作职责与交付物清单
文档里用红色字体标注了数据治理项目才需要的工作,这个细节很实用。研发一部负责标书内容响应和技术支持,数据售后负责部署安装和培训,实施老师负责确定集成数据和过滤审核。具体到交付物,原表筛选要形成现状报告,梳理业务域标准要维护标准稳定,管理属性维护要版本反馈文档给实施。
这里有个容易忽略的点:所有执行命令(导入数据库、加载镜像、启动镜像)都要记录,所有平台访问地址、部署路径、登录账号和密码要记录,然后返回研发一部登记。这不是形式主义,后面出问题时这些记录就是后悔药。
3. 安装部署实操:从 JDK 配置到 DBLINK 恢复的完整链路
3.1 公共环境配置与数据库参数调整
部署之前先把公共环境搞定。第一件事是数据库连接数修改,因为数据治理平台需要连接多个业务库,DBLink 数量取决于你有多少个业务库。
-- 查看当前 OPEN_LINKS 参数值 SHOW PARAMETER OPEN_LINKS; -- 修改 OPEN_LINKS 和 OPEN_LINKS_PER_INSTANCE ALTER SYSTEM SET OPEN_LINKS=50 SCOPE=SPFILE; ALTER SYSTEM SET OPEN_LINKS_PER_INSTANCE=50 SCOPE=SPFILE;注意:改完需要重启数据库服务才能生效。不过文档里也提到,经过优化存储过程,目前这个参数可以不修改。我一般会先按默认跑,如果 DBLINK 报错再调。
第二件事是关闭防火墙,或者开放 Docker 容器映射的端口。
# 关闭防火墙 systemctl stop firewalld # 开机禁用 systemctl disable firewalld这两条命令看着简单,但很多部署失败就是因为端口没开。Docker 容器映射的端口如果被防火墙拦了,平台页面根本打不开。
3.2 标准平台 LY_IS 部署与 JDK 环境配置
标准平台是整个数据治理的基础,部署路径在 /opt 目录下。先配置 JDK 环境:
vi /etc/profile # 添加以下内容 JAVA_HOME=/opt/jdk1.7.0_79 CLASSPATH=%JAVA_HOME%/lib:%JAVA_HOME%/jre/lib PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin export PATH CLASSPATH JAVA_HOME export CATALINA_HOME=/opt/apache-tomcat-7.0.92-LY_IS export CATALINA_BASE=/opt/apache-tomcat-7.0.92-LY_IS改完权限后刷新环境变量:
chmod -R 777 /opt/jdk1.7.0_79/ chmod -R 777 /opt/apache-tomcat-7.0.92-LY_IS/ source /etc/profile java -version开机启动配置也要加上:
vim /etc/rc.d/rc.local # 在末尾添加 export JAVA_HOME=/opt/jdk1.7.0_79 /opt/apache-tomcat-7.0.92/bin/startup.sh start chmod +x /etc/rc.d/rc.local参数说明:JAVA_HOME 指向 JDK 安装路径,CATALINA_HOME 和 CATALINA_BASE 指向 Tomcat 目录。chmod 777 是给足权限,避免导入数据库时因为权限报错。
3.3 数据库导入与 DBLINK 恢复
标准平台涉及两个库:LY_IS 和 LY_ISYWK。先创建表空间和用户:
-- 查询表空间路径 select tablespace_name,file_id,bytes/1024/1024,file_name,autoextensible from dba_data_files order by file_id; -- 创建表空间 create tablespace LY_IS DATAFILE 'D:\oracletablespace\product\LY_IS.ora' size 512m autoextend on next 10M maxsize unlimited extent management local autoallocate segment space management auto; -- 创建用户 create user LY_IS IDENTIFIED BY LY_IS DEFAULT TABLESPACE LY_IS TEMPORARY TABLESPACE TEMP quota unlimited on LY_IS; -- 授权 grant CONNECT to LY_IS; grant Resource to LY_IS; grant create database link, create view to LY_IS; grant dba to LY_IS;导入数据前先查字符集:
SELECT * FROM v$nls_parameters;一般是 SIMPLIFIED CHINESE.ZHS16GBK。Linux 下设置环境变量:
export NLS_LANG='AMERICAN_AMERICA.ZHS16GBK' # 或者 export NLS_LANG='SIMPLIFIED CHINESE.AL32UTF8'导入命令:
imp LY_IS/LY_IS@localhost:1521/orcl file=F:/LY_IS.dmp log=F:/LY_IS.log full=yLY_ISYWK 的导入类似,但只需要导入对象,没有数据需要导入。DBLINK 恢复是关键一步:
create database link LINKTEST connect to "LY_MDP" identified by "LY_MDP" using '(DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.6.72)(PORT = 1521))) (CONNECT_DATA = (SERVICE_NAME = orcl)))'; -- 测试 DBLINK 是否连通 Select * from dual@LINKTEST;出现 x 即 DBLINK 连通。这里红色部分需要改成项目地的 IP 和主数据平台连接信息。
3.4 License 申请与平台访问验证
启动 Tomcat 后查看日志:
./startup.sh tail -f ../logs/catalina.out访问平台地址,截取注册页面,在公司事务中心向测试部申请 License。将申请到的 License 替换 Tomcat 对应文件,重启后就能进入平台。如果出现过期页面,把 License 文件删掉,重启,又可以重新弹出注册页面,再申请注册即可。
4. 避坑排查:DBLink 不通、License 过期、表空间权限报错怎么救
4.1 DBLINK 创建后查询报 ORA-02019
现象:创建 DBLINK 后执行Select * from dual@LINKTEST报 ORA-02019,提示连接描述未找到。
原因:DBLINK 的 using 字符串里 HOST 和 PORT 写错,或者目标库的 SERVICE_NAME 不对。文档里用的是 192.168.6.72:1521/orcl,实际项目地 IP 和端口可能不同。
解决:先用 tnsping 测试目标库连通性,再检查 DBLINK 脚本里的 HOST、PORT、SERVICE_NAME 三个参数。如果目标库是 RAC,SERVICE_NAME 要写对应的服务名而不是实例名。
4.2 导入 DMP 文件报权限不足
现象:Linux 下执行 imp 命令导入时,报 ORA-39002 或权限相关错误。
原因:DMP 文件所在文件夹没有执行权限,Oracle 用户读不到文件。
解决:将文件所在文件夹执行chmod -R 777 文件名称。这个坑文档里专门提了,Linux 下导入需要更新权限,要不会报错。
4.3 License 过期后平台无法访问
现象:平台突然跳转到过期页面,所有功能不可用。
原因:License 文件有有效期,到期后平台自动锁定。
解决:将 License 文件删掉,重启 Tomcat,平台会重新弹出注册页面,再走一遍申请流程即可。这个机制相当于给了你一次后悔药,但别指望一直删一直用,正式环境还是要及时续期。
4.4 标准库和业务库表名不一致导致交换失败
现象:数据下行交换时,ODI 报找不到源表或目标表。
原因:标准全局库系统、ODI 项目文件夹系统、过程系统名称没有统一。文档里明确要求这三个名称要统一,但实际实施时经常有人各建各的。
解决:在部署初期就定好命名规范,标准库、ODI 文件夹、过程系统用同一套命名。如果已经不一致,要么改配置,要么在 ODI 里做映射转换,后者工作量更大。
4.5 Tomcat 启动后页面 404
现象:Tomcat 启动日志正常,但访问平台地址报 404。
原因:WAR 包没有解压,或者 context path 配置不对。文档里访问地址是 http://192.168.6.13:7080/ISMP2.0/,如果你的 Tomcat 端口或 context path 不同,需要对应调整。
解决:检查 webapps 目录下是否有 ISMP2.0 文件夹,如果没有,看 WAR 包是否放对位置。另外检查 server.xml 里的 Connector port 配置。
5. 进阶技巧:标准表通读三遍与图标版权替换的实战习惯
5.1 标准表结构通读的正确姿势
文档里有一句话我特别认同:做数据交换的人应该至少要通读标准维护的表结构内容 3 遍。这不是夸张,是血泪经验。1300 多张表,每张表的字段含义、业务逻辑、关联关系都不一样。第一遍通读建立整体印象,知道有哪些业务域;第二遍重点看和自己项目相关的表,搞清楚字段映射;第三遍查漏补缺,把之前忽略的边界情况补上。
我一般会建议团队做一个 Excel 对照表,左边是业务库字段,右边是标准库字段,中间标注映射规则。这样在 ODI 里配置映射时直接照着抄,比临时翻文档快得多。
5.2 图标和版权信息的替换路径
文档里提到了图标替换的具体路径,这个在交付时经常被忽略,但客户很在意。
| 替换内容 | 文件路径 |
|---|---|
| 首页图标 | ../apache-tomcat-7.0.92/webapps/ISMP2.0/apps/ismp/home/res/drawable/whulogo.png |
| 登录页图标 | ../apache-tomcat-7.0.92/webapps/ISMP2.0/apps/ismp/login/res/drawable/login_img01.png |
| 后台 Logo | ../apache-tomcat-7.0.92/webapps/ISMP2.0/apps/ismp/index/res/drawable/wuhandaxue.png |
替换前先备份原文件,替换后清一下浏览器缓存,否则可能看到的是旧图标。后台文字修改一般在对应的 JSP 或 JS 文件里,搜关键词就能定位。
5.3 部署记录与交付文档的强制习惯
文档里反复强调:所有执行命令都要记录,所有平台访问地址、部署路径、登录账号和密码要记录,然后返回研发一部登记。这个习惯我后来每次部署都强制走一遍。因为数据治理项目周期长,中间可能换人,没有记录的话接手的人要从头猜。
我一般会建一个部署记录表,包含:服务器 IP、数据库版本、JDK 版本、Tomcat 路径、各平台访问地址、账号密码、License 到期时间、DBLINK 配置清单。这份记录跟着项目走,谁接手都能快速上手。
从那以后我每次部署数据治理平台,都会先把这份 109 页文档里的部署章节单独打出来,对照着一步步勾选,做完一项划掉一项。希望帮到你。
本文还有配套的精品资源,点击获取