1. 从“即兴创作”到“工业级流水线”:为什么需要信息架构
在数据领域摸爬滚打这些年,我见过太多团队在数据管理上走过的弯路。最常见的一种场景是:业务部门提一个数据需求,数据团队吭哧吭哧写脚本、跑任务,好不容易把报表做出来,没过两个月,业务逻辑变了,或者发现数据口径对不上,整个报表推倒重来。整个过程就像“即兴创作”,高度依赖个人能力,充满了不确定性、重复劳动和沟通成本。数据资产散落在各处,像一个个信息孤岛,谁也不知道哪个数据是准确的、哪个已经过时了。
这背后的核心问题,就是缺乏一套统一的“游戏规则”和“设计图纸”。华为在《数据之道》中提出的“信息架构”,正是为了解决这个问题。它不是一个虚无缥缈的概念,而是一套将数据管理从“手工作坊”升级为“工业级流水线”的工程方法。信息架构定义了数据在组织中应该以何种形式存在、如何被理解、如何被关联以及如何被使用。它确保了数据从产生到消费的全过程,都有章可循、有据可依,最终目标是让数据成为可复用、可信任、可运营的资产,而不是一次性的消耗品。
简单来说,信息架构就是数据世界的“城市规划图”和“建筑规范”。没有它,每个项目都在“违章搭建”,系统会越来越臃肿、混乱,维护成本指数级上升。有了它,我们才能实现数据的标准化、模块化和服务化,支撑业务的快速创新和稳定运营。接下来,我们就深入拆解华为信息架构的四个核心组件,看看这张“图纸”具体是怎么画的。
2. 信息架构的四大支柱:组件详解与内在逻辑
华为将信息架构分解为四个相互关联、层层递进的组件:数据资产目录、数据标准、数据模型和数据分布。这四个组件并非孤立存在,它们共同构成了一个完整的数据定义和管理体系。我们可以将其理解为一个数据产品的“生产流水线”:数据标准是原材料和工艺规范,数据模型是产品设计蓝图,数据资产目录是产品说明书和仓库索引,而数据分布则是产品的物流和仓储网络。
2.1 数据资产目录:数据的“全局搜索引擎”与“资产清单”
数据资产目录是整个信息架构的“门面”和“总览图”。它的核心价值是解决“有什么数据、在哪里、谁负责、怎么用”的问题。想象一下,在一个大型图书馆里,如果没有目录卡片或检索系统,读者要找到一本特定的书无异于大海捞针。数据资产目录就是企业数据资源的“检索系统”。
一个成熟的数据资产目录至少包含以下几类关键信息:
- 资产标识与定义:数据的唯一ID、业务名称、英文名称、业务描述等。这相当于给每份数据贴上了“身份证”和“名片”。
- 业务归属:明确数据所属的业务域、业务流程和责任人(数据Owner)。这解决了数据“谁的孩子谁抱走”的问题,是数据质量管理的责任基础。
- 技术属性:数据的物理存储位置(如Hive表名、数据库实例)、更新频率、数据格式、数据量等。这是技术人员定位和访问数据的钥匙。
- 血缘与影响分析:记录数据从源头到消费端的完整加工链路。当发现某个报表数据有问题时,可以通过血缘关系快速追溯到是哪个源表或加工环节出了错。
- 数据质量与安全等级:标识数据的可信度(如完整性、准确性评分)以及敏感级别(如公开、内部、秘密),指导数据的安全使用。
在实操中,构建数据资产目录往往从核心的、高价值的数据实体(如“客户”、“产品”、“订单”)开始。我们通常会利用元数据管理工具自动采集技术元数据(如表结构),再通过管理流程补充业务元数据(如业务定义、责任人)。一个常见的坑是只建目录而不运营,导致目录信息陈旧失效。因此,必须将目录的更新维护嵌入到数据开发流程中,例如,新建一个数据表必须同步在资产目录中注册,否则无法上线发布。
2.2 数据标准:数据的“通用语言”与“度量衡”
如果说数据资产目录告诉了我们“有什么”,那么数据标准则定义了这些东西“应该是什么样子”。数据标准是确保数据在跨系统、跨部门交换和使用时能够被一致理解的基础。没有统一的数据标准,同一个“客户编号”在A系统是10位数字,在B系统是“字母+数字”,在C系统又变成了18位,数据融合和比对就成了灾难。
数据标准通常涵盖以下几个方面:
- 基础标准:针对核心数据属性(如客户名称、产品代码、金额)的定义。包括业务定义、业务规则、数据类型、长度、格式、值域(枚举值)、计量单位等。例如,“金额”字段必须定义为
Decimal(20,2)类型,单位为“元(人民币)”。 - 指标标准:针对派生性数据(如销售额、利润率、用户增长率)的定义。包括指标名称、业务含义、统计口径(分子/分母)、计算周期、维度下钻方式等。例如,“月度销售额”必须明确是“已出库订单的净额,不含税,剔除退款”。
- 编码标准:用于规范诸如国家地区、行业分类、产品类型等通用代码,确保代码值及其含义在全公司统一。
制定标准不是最难的部分,难的是落地。很多公司的数据标准文档写得漂漂亮亮,但开发人员根本不看,新系统建设时依然我行我素。有效的做法是“技术驱动治理”,将数据标准“硬化”到开发工具和流程中。例如,在数据建模工具中,直接从标准库中引用已定义的字段,禁止自定义;在数据入湖(入库)时,通过质量检查规则(如正则表达式、代码值校验)强制要求符合标准。我们曾经在一个项目中,通过将客户性别标准(限定为‘M’,‘F’,‘U’)嵌入到数据接入层的校验规则中,一次性拦截了上游系统传来的数十种千奇百怪的性别表示方式,从源头保证了数据的一致性。
2.3 数据模型:数据的“结构蓝图”与“关系图谱”
数据模型是信息架构的“骨架”,它定义了数据之间的静态逻辑结构和动态流转关系。如果说数据标准规定了“砖块”的规格,那么数据模型就描绘了如何用这些砖块搭建起“房屋”的框架。它连接业务概念和物理实现,是业务人员与技术人员沟通的桥梁。
信息架构中的数据模型通常分为三个层次:
- 概念模型:面向业务高层,识别核心业务实体(如客户、合同、设备)及其间的高层级关系。它不关心属性细节,主要用于界定业务范围,通常用简化的实体关系图表示。
- 逻辑模型:面向业务分析师和架构师,细化概念模型。明确定义实体的属性(字段)、主外键关系、数据的范式化程度。例如,将“客户”实体细化为“客户ID”、“客户名称”、“客户类型”、“创建日期”等属性,并明确“订单”实体通过“客户ID”与“客户”关联。逻辑模型是技术实现的直接依据。
- 物理模型:面向开发工程师,基于特定的数据库技术(如MySQL, GaussDB)将逻辑模型实例化。需要考虑索引、分区、存储引擎、字段物理类型等具体技术细节,以优化性能和存储。
在华为的实践中,特别强调主题域划分和一致性维度建模。主题域是从业务视角对数据进行的高层分类,如“客户域”、“产品域”、“财务域”。在同一个主题域内,采用一致的维度(如统一的时间维度表、组织维度表)和事实表设计,能极大降低数据冗余,保障跨报表数据口径的一致性。一个关键的经验是:数据模型的设计必须由业务驱动,与业务流程紧密结合。脱离业务谈模型,设计出来的往往是“空中楼阁”,无法使用。我们曾参与设计一个供应链模型,初期技术团队闭门造车,模型非常“优雅”但复杂。后来邀请核心业务人员连续进行了三场工作坊,用他们熟悉的业务场景和单据来反推模型,最终产出的模型虽然技术上不那么“完美”,但业务认同度高,落地非常顺畅。
2.4 数据分布:数据的“交通地图”与“部署策略”
数据分布描述了数据在物理上的存放位置、存储形态以及在不同系统间的流动关系。它关注的是数据的“物理存在”和“移动轨迹”。即使有了完美的模型和标准,如果数据被杂乱无章地存放在成百上千个数据库表里,或者一份数据被复制粘贴得到处都是(形成数据副本“烟囱”),那么数据的查找、整合和管理成本依然会高得惊人。
数据分布规划主要解决两个核心问题:
- 数据应该放在哪?这涉及到数据分层架构。华为推崇数据湖仓一体的理念,通常会规划原始数据层、明细数据层、汇总数据层、应用数据层等。原始层存放未经加工的源数据;明细层对原始数据进行清洗、整合,形成企业一致的事实数据;汇总层根据业务需求进行轻度聚合;应用层则面向特定场景进行深度加工。合理的分层如同城市的功能分区(工业区、商业区、住宅区),让数据各得其所,便于管理和使用。
- 数据应该如何流动?这定义了数据从源系统到数据湖/仓,再到消费应用的加工链路和依赖关系。需要明确哪些是批量同步,哪些是实时流;同步的频率是多少;数据的生命周期如何管理(何时归档、何时销毁)。
在实际操作中,数据分布的设计必须充分考虑系统性能、成本和安全。例如,将高频访问的热点数据放在高性能存储(如内存数据库或SSD)上,将历史归档数据转移到低成本对象存储中。对于敏感数据,要规划其脱敏、加密策略以及在不同环境(开发、测试、生产)下的分布规则。一个常见的教训是忽视数据生命周期管理,导致存储成本失控。我们通过制定明确的表生命周期策略(例如,明细数据保留7年,汇总数据保留3年,应用层临时表保留30天),并配置自动化清理任务,每年节省了超过30%的存储成本。
3. 四大组件的协同运作:一个订单数据的生命周期之旅
为了更直观地理解这四个组件如何协同工作,我们以一个电商场景中“订单”数据的产生与使用为例,走一遍它的生命周期。
- 诞生与定义(标准+模型):当业务需要新建“订单”业务时,首先由数据治理团队协同业务部门,依据《数据标准管理规范》定义“订单”的核心属性标准。例如,“订单状态”这个字段,标准会规定其业务含义为“订单在履约流程中的节点”,值域为‘待支付’,‘已支付’,‘已发货’,‘已完成’,‘已取消’(标准组件)。同时,数据架构师会设计“订单”的逻辑数据模型,确定它包含订单ID、用户ID、商品ID、金额、状态、创建时间等字段,并明确它与“用户”、“商品”等实体之间的关系(模型组件)。
- 落地与存储(分布):开发人员根据逻辑模型,在订单系统的生产数据库中创建物理表
t_order(分布组件:源系统)。同时,为了进行分析,需要通过数据集成工具,将t_order表的增量数据,按照“T+1”的频率同步到数据仓库的“原始数据层”(ODS)。这里的数据分布策略决定了同步方式(增量/全量)、频率和链路。 - 加工与整合(模型+分布):在数据仓库中,数据开发团队会参照设计好的“订单主题域”模型,将ODS层原始的
t_order数据,与来自其他系统的“用户”、“商品”数据关联、清洗,生成一张宽表dwd_order_fact,存放在“明细数据层”(DWD)。这个过程严格遵循了数据模型定义的关系和标准(如金额单位统一为“元”)。 - 发布与发现(资产目录):当
dwd_order_fact表就绪后,数据Owner需要在数据资产目录中注册该资产。他会填写业务描述、负责人、数据安全等级(如内部公开)、更新周期等信息。同时,数据地图工具会自动采集该表的血缘关系(从源表t_order到dwd_order_fact),并挂接到目录中。 - 消费与应用:数据分析师需要分析每日各省份的订单量。他首先打开数据资产目录,搜索“订单”相关数据,很快找到了
dwd_order_fact表,并查看了它的业务定义、字段说明和血缘关系,确认这就是他需要的数据。然后,他基于此表进行SQL查询,由于字段含义和口径是标准化的,他无需与开发人员反复沟通,快速完成了分析报表。
整个流程中,四个组件环环相扣:标准确保了数据含义一致,模型定义了数据结构,分布规划了数据流向和存放,目录则让数据变得可见、可理解、可管理。任何一个环节的缺失或薄弱,都会导致数据链路“梗阻”。
4. 实施路径与常见挑战:如何迈出第一步
理解了四大组件,下一个问题自然是:对于大多数企业,尤其是非华为体量的公司,该如何启动自己的信息架构建设?指望一步到位、全面铺开是不现实的,这往往会导致项目失控。更可行的路径是“价值驱动,迭代演进”。
第一步:选择切入点,树立标杆不要试图一次性梳理所有数据。优先选择1-2个公司最核心、痛点最明显的业务域作为试点。例如,对于零售公司,可以选择“商品”或“销售”域;对于互联网公司,可以选择“用户”域。集中力量,在这个小范围内,完整地走通四大组件的设计和落地流程:制定该域的核心数据标准、设计关键逻辑模型、规划其从业务系统到数仓的分布、并在资产目录中发布。做出一个成功的“样板间”,其说服力远胜于一百页规划PPT。
第二步:工具赋能,而非人工管理在试点阶段,可以用Excel、Wiki来管理标准和模型目录。但一旦要推广,必须引入或开发合适的工具。元数据管理工具用于自动采集技术资产和血缘;数据建模工具用于可视化设计和管理模型;数据资产目录平台提供统一的检索和查看界面。工具的核心价值是将管理流程“线上化”、“自动化”,降低人的执行成本。例如,将数据标准库与建模工具打通,设计师可以直接从标准库中拖拽字段,避免手动输入出错。
第三步:建立组织与流程保障信息架构建设不是单纯的技术项目,而是“技术+管理”的变革。需要明确三个关键角色:
- 数据Owner:由业务部门负责人担任,对数据的业务含义、质量和安全负最终责任。他是数据标准的提出者和确认者。
- 数据架构师:负责设计数据模型和数据分布方案,确保技术实现的合理性和一致性。
- 数据治理团队:负责制定流程、推动标准落地、运营资产目录、考核数据质量。
必须建立配套的流程,将架构管控嵌入到现有的系统开发(SDLC)和数据开发流程中。例如,规定所有新建数据表必须在设计评审时通过模型审核,并在上线前完成资产目录注册。
在实施过程中,你会遇到几个典型的挑战:
- 业务部门不配合:他们认为这是技术部门的事,增加了他们的工作量。解决方案是“用价值说话”。通过试点项目,快速让业务人员感受到好处,比如“现在找数据快多了”、“报表开发周期缩短了”。同时,高层领导的坚定支持至关重要。
- 历史系统改造难:存量系统数量庞大,数据结构混乱,改造成本高。对此,应采取“新旧分离,逐步迁移”的策略。对新系统,严格遵循新架构;对老系统,先通过数据资产目录将其“管起来”,了解现状。在后续老系统重构或新建数据平台时,再逐步将数据按新标准、新模型进行整合和迁移。
- 标准落地难:开发人员因工期紧、习惯等原因,不按标准执行。除了加强宣导,更有效的是“流程卡点”和“工具固化”。在代码入库、数据入湖等关键环节设置自动化检查关卡,不符合标准的数据无法进入下一环节。
信息架构的建设是一场持久战,不可能一蹴而就。它更像是在高速行驶的汽车上更换轮胎,需要在保持业务运转的同时,逐步优化数据底盘。其回报也是巨大的:它带来的数据一致性、可发现性和可复用性,是数据驱动决策、数字化运营乃至智能化的坚实基础。当你不再为找一个数据而翻遍十几个系统,不再为报表上一个数字的准确性而反复争论时,你就会深刻体会到这套“工业级流水线”的价值所在。