简介:一份面向企业数据架构规划的系统性PPT方案,聚焦数据驱动背景下架构总设计,适合数据架构师、IT规划人员及企业管理者参考。方案基于全局视角,系统梳理了数据架构设计思路、数据资源总体规划、基础数据管理、数据分析与应用、数据治理与管控、项目实施计划六大核心模块,涵盖数据建模、CRUD分布分析、主数据与元数据管理、数据仓库与分析应用体系、数据标准与质量PDCA闭环等关键内容,并针对企业在统一数据模型缺乏、数据管控组织缺失、治理机制不完善等方面的常见问题给出了具体推进建议。同时,方案还给出了主数据体系、元数据管理平台、数据治理体系的工作内容与实施路径,能够帮助读者从整体上把握企业级数据架构的落地要点。压缩包内含1个pptx文件,共74页,大小约5.5MB,内容完整、层级清晰,可直接用于方案汇报或作为内部培训材料。已有228人学习浏览,适合需要构建或优化企业数据架构体系的管理与技术人员。 做数据架构规划这几年,我接触过不少企业,也看过大量方案。说实话,能真正讲清楚“总体规划”这四个字的PPT不多,大多数停留在画几张分层图、堆一堆技术名词的层面。这份《数据架构设计总体规划方案》能在74页里把整个脉络捋清楚,算是难得的完整度。我结合自己做过的项目经验,把这套方案的骨架、每一页背后的设计逻辑、以及实际落地时容易踩的坑,一次性拆给你看。
1. 方案整体脉络与设计逻辑
1.1 一份数据架构规划方案的核心结构
拿到一个数据架构规划任务,不管是自研还是引入外部咨询,方案的整体结构基本逃不开这几个部分:现状分析、目标架构、分主题设计、实施路线、治理保障。这份74页的PPT也是沿这条主线展开的,只是每一块的篇幅和颗粒度做得比较到位。
先说现状分析。这一部分不是走流程,而是要为后面的架构设计提供决策依据。做数据架构不能凭空设计,必须搞清楚企业现在有什么数据、数据在哪里、质量怎么样、谁在用、用得好不好。所以现状分析通常包含业务系统的盘点、数据资产的梳理、已有数据平台的评估、团队能力和组织流程的检查。
然后是目标架构。这部分是方案的核心,一般会分层来描述:贴源层、整合层、汇总层、集市层,再加上底层的调度平台和数据治理体系。每层的职责边界、表结构规范、数据流向、层级之间的依赖关系都要定义清楚。更重要的是,每一层为什么要存在,它解决了什么问题,要在方案里讲明白,而不是只丢一张分层图就完事。
分主题设计是方案的深度所在。比如主数据怎么管、元数据怎么采、数据标准怎么落、数据质量怎么监控、数据安全怎么分级,这些都属于架构的一部分。只画一张架构总览图而没有这些分主题的细化设计,落地的时候一定会断层。
实施路线解决的是“以什么顺序、分几个阶段、每个阶段做到什么程度”的问题。数据架构建设不可能一步到位,通常要分三期甚至更长时间。路线设计要结合业务优先级、技术依赖关系和团队承接能力来排布,优先级高、依赖关系靠前的工作排到前面,见效快的工作也要放到前期,这样才能在项目早期拿到业务部门的信任。
治理保障是把数据架构变成一种长效机制的关键。架构不是一次性交付物,数据会变、业务会变、技术和组织也会变,如果没有一套治理机制去持续维护架构的稳定和演进,过半年再看,架构文档就成了一堆废纸。
1.2 为什么大多数数据架构规划做完了落不了地
这里我说点实际的。很多企业花了大价钱做规划,最后PPT进了档案柜,真正落地的不到一半。问题往往出在三个地方。
第一是规划与业务脱节。很多方案是技术团队关起门来写的,没有深入访谈业务部门,对业务链路的数据流缺乏真实理解。结果就是架构图很漂亮,但跟业务系统对接时发现,源系统的数据质量根本支撑不了架构设计里的那些链路,主数据也没有统一口径。
第二是过度追求理想态。规划时画了一幅很宏大的蓝图,也没错,但忽略了企业内部真实的数据基础。某个集团客户,二十多年积累了上百个系统,数据标准几乎没有,历史数据质量参差不齐。规划方案里设计了大幅的整合治理目标,但企业连主数据的关键字段都说不清,这就是典型的落地断裂。好的规划一定是从现状出发,定义一条渐进式演进的路径,而不是一步跳到理想态。
第三是缺少配套的治理机制。架构改了、表建了、流程也没有,后期数据标准没人执行、数据模型没人维护,架构很快就失控。规划方案里应该在开头就定义好演进路径的分阶段节奏,以及每阶段配套的治理动作,而不是把治理全部放到最后。
2. 分层架构设计的核心细节与实操要点
2.1 五层数据架构模型及其职责边界
大部分成熟企业的数据架构最终会收敛到五层模型。虽然每一家的叫法略有差异,但分层逻辑基本是一致的。
第一层是贴源层(ODS,Operational Data Store)。这一层的主要职责是把各个业务系统的数据无差别引入到数据平台,保留最原始的数据样貌。它的价值在于:一是隔离了源系统的压力,所有下游的数据任务不再直接访问业务库,避免影响生产系统性能;二是为后续的清洗加工保留原始备份,万一数仓层出现问题,可以随时回溯原始数据。这一层的设计原则是“买原样、不加工”,数据的字段、粒度、编码都不能动。
第二层是整合层(DWD,Data Warehouse Detail)。这一层做的事情可以概括为“标准化、规范化、一致性”。把散落在不同系统中的公共码值统一、字段类型统一、命名规范统一,同时做数据清洗、去重、格式转换。这是整个数仓建设中工作量最大的一层,从事数据开发的老手都知道,DWD层的建模质量直接决定上层应用的效率和稳定性。
第三层是汇总层(DWS,Data Warehouse Summary)。这一层以分析主题为中心,按业务维度做预聚合。比如用户主题、商品主题、订单主题、供应链主题。汇总层存在的意义是把重复计算的逻辑提前到库内批量完成,避免下游每个报表都去扫描明细数据。设计这一层时,需要跟业务方反复确认常用的分析维度组合,预聚合的粒度要有取舍,不能把所有维度组合全部物化,否则存储和计算成本会失控。
第四层是集市层(ADS,Application Data Store)。这一层面向具体业务场景,按业务部门或分析主题定制数据集。报表、大屏、数据产品消费的都是这一层的数据。这一层可以容忍一定的数据冗余,以便快速响应业务需求,数据链路可以灵活裁剪。
第五层是元数据管理和数据治理体系。这一层算是横切面,贯穿前面所有层。数据标准、数据质量监控、元数据管理、数据安全、数据生命周期管理,都要在这层定义好规则,并落到每个层的建设过程里。
2.2 数据流向与层级依赖关系设计
分层架构的设计不仅要定义每一层“长什么样”,还要定义数据“怎么流过去”。
数据从源系统采集开始,经过数据同步工具进入贴源层。典型的采集方式有SQL直连同步和日志解析同步(如采用CDC、Binlog增量解析),国内常用的有DataX、Kettle等工具配合调度平台来保障同步链路。之后,离线加工任务按每日批次,把贴源层的数据清洗、转换到整合层,再从整合层按维度建模、聚合到汇总层,最后根据前端应用需求生成集市层的数据表。
在层级依赖关系上,一条最核心的原则是:层与层之间不允许跨层引用。集市层的任务只能读汇总层或整合层的数据,不能直接去读贴源层。这么做的好处是数据血缘清晰,出了问题可以沿着层级向上回溯到底哪一层加工逻辑出了偏差。很多团队前期为了图方便,在报表任务里直接join了ODS的原始表,短期看效率高,后期数据量上来之后,维护成本几乎成倍增长。
还有一点要特别注意:加工任务是按天级还是小时级调度,要在架构设计阶段就定义好。如果业务对时效性有分钟级的需求,那贴源层到整合层之间就要有流批一体或实时数仓的设计,传统的T+1离线数仓不一定能满足需求。我在实际项目中碰到过不少类似情况,前期忽略了时效性要求,做完架构评审之后才发现核心链路需要实时计算,反过来又要改造底层设计,既费时又费力。
2.3 模型设计与命名规范的工程化约定
架构落地最终要落到数据模型和表结构上,如果这里不规范,后面重建的成本很高。命名规范是数据架构里最小的颗粒度,但也是最重要的约定之一。
这个项目之所以能有效指导建设,一个重要原因就是在模型层定义了清晰的命名约定。表名上能直接看出这张表属于哪一层、哪个主题域、是事实表还是维度表。比如整合层的事实表前缀可以是dwd_业务域_主题_粒度,汇总层的表可以是dws_业务域_主题_周期,集市层的报表表可以是ads_业务域_报表名称。同步任务名、调度任务名也要跟着这套命名体系走,这样从任务调度平台上扫一眼任务列表,就能大致判断出它加工的是什么数据。
模型设计方面,整合层建议采用维度建模与范式建模结合的方式。维度建模负责核心分析主题的事实表和维度表建模,范式建模用于支持部分企业级数据共享场景。汇总层则纯粹以维度建模为主,面向分析场景按冗余维度设计。模型设计文档要跟着表一起维护,字段级血缘关系要能自动解析。
3. 主数据与数据标准建设的关键过程
3.1 主数据识别与各业务域的统一口径
主数据是整个企业级数据架构中最难啃的一块骨头,没有之一。
主数据指那些跨业务、跨系统共享的基础数据。以制造型企业为例,客户、供应商、物料、人员、组织架构都属于主数据。识别主数据的核心方法是看这些数据是否被多个系统、多条业务链路共同引用,如果它被反复使用而且经常出现口径不一致的问题,大概率就是主数据。
实操中,第一步是盘点各业务系统里跟这些主数据相关的表、字段、编码规则、维护流程。十几二十个系统的盘点表汇总到一起,你会看到同一个“客户”,有的系统叫customer_id,有的叫client_code,有的叫kunnr(SAP里的客户编号),而且编码规则、长度、类型完全不同。这些盘点结论要形成主数据分布矩阵,明确每一类主数据的权威源系统是哪一个。
第二步是定义主数据的统一模型和编码规则。统一编码是关键。一般建议由主数据管理系统统一生成新的企业级编码,在建立映射关系之后逐步替换各业务系统的旧编码。内部管理上要建立数据责任人制度,每一类主数据由唯一的业务部门负责,其他部门的维护需求走统一的变更管理流程。到了这一步,跨系统的数据集成和分析才有可能做到口径唯一。
3.2 数据标准:从分类、命名到编码的落地约束
数据标准的制定看起来就是写文档,实际上是一个比想象中复杂得多的协商过程。
从类别上讲,数据标准要覆盖三类:基础标准、业务术语标准和技术标准。基础标准包括数据类型、长度、格式等;业务术语标准解决同一个概念在不同部门叫法不一样的问题;技术标准定义码表、编码规则和数据字典。
制定过程要遵循从上而下和从下而上结合的方式。从上而下是指参考行业标准,比如国标、行标、ISO标准等通用部分;从下而上是指从企业的实际数据出发,直接梳理现有系统里的字段和取值,统计分布情况后再来定义标准值。没有这一步,标准只是悬空文本,落地时和实际数据对不上,企业内的业务人员也会觉得标准没有现实基础。
落地机制要比标准内容本身更重要。光有标准是没用的,还得有抓手。关键的三件事:新系统建设时在需求文档和设计文档中加入数据标准化审查节点,不通过就不允许上线;存量系统改造时对核心数据字段制定字段映射转换规则,在集成层实现向标准的靠拢;数据质量平台里针对标准字段配置稽核规则,比如枚举值是否在标准码表内、数据长度是否超限,让数据标准和数据质量监控形成闭环。
3.3 数据质量与元数据管理机制
数据质量是整个数据架构能不能长期运转的生命线。数据质量不是靠喊口号喊出来的,要把它拆成六类维度来度量:完整性、唯一性、准确性、一致性、有效性和及时性。
完整性监控的是非空约束,比如主键字段不可以为空,关键业务属性缺失率不能超过阈值;唯一性检查重复记录;准确性对照权威数据源来做交叉验证;一致性检查不同表之间同一字段的值是否对得上;有效性检查取值是否在可枚举范围内、格式是否合法;及时性主要关注数据到达时间是否满足业务时效要求。每一类规则都要配置到数据质量平台上,并且设置周期性的调度任务来自动跑,不能靠手工抽检。
元数据管理是数据团队长期运营的“隐形基础设施”。刚开始做可能觉得收益不明显,但等到数据的血缘关系混乱、出了数据问题找不到根因的时候,你才会意识到它的价值。元数据分技术元数据和业务元数据两层:技术元数据描述表结构、字段类型、调度依赖、血缘关系;业务元数据描述指标口径、数据owner、业务含义。数据地图和数据资产目录都是基于元数据搭建的,血缘分析功能也要靠它支撑。
4. 技术选型与部署策略的取舍思考
4.1 数据仓库组件选型与考量标准
数据架构的落地离不开技术选型,选型的结果直接影响后续多年的建设和维护成本。这部分的决策因素比较多,我结合经验说几个核心的取舍点。
传统数仓领域,Teradata、Oracle Exadata、Greenplum都是比较成熟的MPP数据库产品。这类产品的优势是事务能力强、生态成熟、运维工具完善,团队上手难度低。代价是成本很高,扩容往往受限于硬件和商业授权,性能提升的弹性也不足。
以Hadoop和Spark为核心的离线大数据平台,这几年在企业里普及率极高。HDFS加Hive加Spark加Yarn这样的组合支撑了大部分企业的离线数仓建设。优势是海量数据处理能力强、存储成本低、生态丰富、开源免费(基础设施层面),代价是需要一支有一定水平的平台运维团队,元数据管理、权限控制这些组件要自己搭。
数据湖与湖仓一体是近年来的演进方向。Iceberg、Hudi、Delta Lake这几个开源表的格式,本质上把数仓对数据管理的约束能力下沉到了数据湖的存储层上。它的价值在于:既能像数据湖一样低成本存下所有原始数据,又能像数仓一样管理和优化数据。湖仓一体对实时性要求高、数据类型复杂的业务场景尤其适合,可以省掉很多原先要把数据从湖加工到仓的重复劳动。
具体到这份规划方案,可以看到“平台建设”和“数据开发治理一体化”两条线是并行的,没有把链路拆碎。数据集成、数据开发、数据治理、数据服务等能力在一个平台上统一提供,这比混搭拼接多套系统对企业的长期运营更加友好。
4.2 部署架构与资源规划建议
部署架构上,建议对计算和存储资源做一体化设计,但逻辑调度要通过租户和资源组隔离。大集群的好处是资源利用率高,可以跨业务进行资源和任务的弹性调度,实现削峰填谷的效果。管理侧要加一层控制,给不同团队和业务线划分独立的资源组,避免计算任务之间的相互干扰。
资源规划建议从数据量和计算需求两个维度做估算。按业务增长趋势和未来三年的规划数据量来设计对象存储容量;日增量、任务并发数、每个任务的平均扫描数据量,这些参数用来估算计算资源所需的CPU和内存规模,同时为支撑高SQL复杂度分析预留约30%的余量。不过,资源规划不要追求一步到位,基础资源可以按第一个建设周期规划,之后根据实际水位按年扩容,前期过度预留会造成大量成本浪费。
安全方面要往前做,不要等到出了问题再补。数据分级分类,账号权限管理,面向库、表、列三个粒度的细粒度权限控制,数据脱敏和加密,审计日志留存,这些建议在建设的第一阶段就纳入平台能力范围。很多企业在起步期觉得数据安全还早,等真正把数据开放给几十个部门之后,再上线安全管控手段的成本和阻力都比初期要大得多。
5. 实施路线与治理运营的长期策略
5.1 分阶段推进:速赢与基础兼顾的节奏把控
数据架构建设最大的忌讳是想一口气吃成胖子,把整个蓝图同时铺开,结果资源跟不上、业务反馈差、项目中途难产。把建设节奏拆成三段是比较稳妥的做法。
第一阶段打基础、出成果。先搭建数据平台的基础底座,落地元数据管理、数据标准管理和统一调度能力。同时选择2到3个业务价值链最长、数据质量问题最集中、分析价值最明确的场景做数据打通和主题建模,比如以财务域和供应链域为切入点。第一阶段的周期建议控制在6个月以内,必须要有看得见摸得着的产出交付业务方,才能真正建立数据团队和平台的口碑。
第二阶段扩覆盖、深应用。在第一阶段验证过之后,把数据接入的覆盖面扩展到更多业务域,完善主数据管理,建设企业级数据资产目录和数据服务平台,支撑各部门自助取数。这个阶段也开始接入实时数据处理能力,满足高时效性需求。
第三阶段做治理、促创新。数据架构的框架基本稳定之后,把精力放到数据治理的精细化运营上,完善数据安全合规、数据资产估值、数据服务运营,同时引入数据挖掘和智能分析能力,让数据架构真正从“支撑报表”升级到“驱动决策”。
5.2 迁移策略与老系统和谐共存
企业不太可能把存量数据和系统全部推倒重来,所以新旧体系的迁移策略一定得想清楚。
对新系统,严格要求按新架构、新标准、新规范来建设,在系统设计评审阶段就把数据架构的约束嵌进去,从源头保证新进数据是合规的。对存量系统,优先通过增量同步的方式,把新的主数据和标准数据反向同步到老系统里(比如新老编码的映射关系和对照表),同时存量数据的清洗按业务重要性分批进行。
比较实用的做法是“让数据迁就架构,而不是架构迁就数据”:在集成层做新旧字段映射与转换,让老系统的数据通过转换之后也符合新标准,老系统本身不需要做大的改造。这样一个阶段内新旧两套体系可以共存,对业务的影响可以降到最低。迁移期间老系统的数据质量和标准符合率可能会低一些,计划里要允许这种情况存在,按业务优先级逐步提升,而不是追求一步到位。
5.3 长效治理组织与运营机制
数据架构的生命力不在于一时建得多好,而在于后续运营有没有人管、有没有机制去维护。这里最关键的三个要点,也是我从多个实际项目里反复验证过的经验。
第一,建立数据治理组织。一个虚拟的跨部门数据治理委员会作为最高决策机构,CIO或CTO挂帅,各业务域的关键负责人参与;之下要有专职的数据治理执行团队,以及每个业务域的数据责任人。组织架构的虚与实很重要:委员会可以是一个季度开一次的虚拟组织,但执行团队必须是全职编制,挂靠在数据部门或信息技术部门下面。
第二,把数据架构评审纳入研发流程。这个一定要在制度上固定下来,新系统的数据模型评审、数据标准检查、数据安全检测要在系统上线前全部完成,不通过就不能上线生产环境。存量系统的变更也要有类似的要求,不能出现老系统无人管、随便改字段的问题。
第三,建立数据指标的运营补偿与评价机制。数据owner要对所辖数据域的数据质量、标准符合度、元数据完整性负责;定期用数字化指标来度量数据架构的健康度,比如元数据覆盖率、数据质量稽核通过率、数据服务SLA达标率、架构规范违反数,季度度量、年度考核。这才能倒逼各条线把数据资产管理当回事。
6. 从方案到落地的几点实在心得
最后说几个踩坑踩出来的体会,对正在做数据架构规划的同行应该会有些用。
第一个体会是:方案不是越先进越好,越适用越好。大数据技术迭代很快,但企业实际需要的一定是在它的业务体量、资金实力、团队能力下最合适的那套组合。同样规模的制造企业和互联网企业的选择一定不同,照搬别人的架构模式很容易水土不服。
第二个体会是:数据架构规划必须对数据的流向、用途和生命周期有清晰的洞察,不是只画几层架构图。架构图谁都会画,真正体现功力的是每一层为什么要这样设计、数据从哪里来、经过什么加工、提供给谁用、怎么保证质量,这些才是架构的灵魂。
第三个体会是:团队能力建设要和数据架构建设同步。很多企业忽视了这一点,架构图上写了Spark、实时计算、数据治理平台,但团队的实际技术能力和运维经验还是传统数仓的底子,等到建设真正启动了才发现人员技能跟不上,整个项目的节奏都会被拖住。要在项目一开始就给团队留出技术培训和实战演练的时间,边建边学、以战代练是比较可行的方式。
数据架构这件事没有一劳永逸的答案,它更像是一个需要持续投入和持续调整的长期工程。如果这份74页的方案能帮你在动工之前把该想清楚的都想清楚,就已经成功了一大半。
本文还有配套的精品资源,点击获取