方案架构
身份认证管理
身份验证方式 | 适用场景 | 前置要求/规范 |
Microsoft Entra ID - Managed identity | 同租户下的Blob数据采集 | 1.ADF与Storage位于同租户下 2.ADF已启用并分配Managed identity 3.Blob已授权对应Managed identity所需访问权限 4.完成Blob的Managed private endpoint部署 |
Microsoft Entra ID - ServicePrincipal | 同一Azure云环境下 | 1.ServicePrincipal不支持跨云授权访问，例如Azure CN下不支持配置使用Azure Global的ServicePrincipal 2.Blob已授权对应标识访问权限 3.凭据托管至Azure Key vault 4.Azure Key vault的Link已经建立 5.完成Blob的Managed private endpoint部署 6.Blob未启用软删除 |
共享访问签名 (SAS) | 1.临时授权访问 2.跨云Blob数据采集 | 1.Blob已授权对应Token的访问权限 2.SAS URI已托管至Azure Key vault 4.Azure Key vault的Link已经建立 |
Storage Account AccessKey | 独享存储账户（权限范围过大，不推荐） | 1.AccessKey已托管至Azure Key vault 2.Azure Key vault的Link已经建立 |
Anonymous | 无身份验证（不推荐） | 不推荐 |
最佳实践说明 #场景说明 同一Azure云环境或同租户下：优先使用Microsoft Entra ID认证进行统一的身份验证管理，次之选用共享访问签名 (SAS) ； 跨云Blob数据采集：不支持使用Microsoft Entra ID认证，此时优先选用共享访问签名 (SAS) ； 不推荐场景：Storage Account AccessKey和Anonymous访问不推荐，谨慎使用； #规范要求 签发路径：必须使用HTTPS等受信任的签发途径； 周期性轮换：所有密钥必须妥善保管，并根据不同的方式定义密钥生命周期管理规范； 撤销：所有授权必须定义紧急撤销预案，如发生泄露需及时撤销； 网络：支持private endpoint的应优先使用private endpoint； |
网络管理
IR类型 | 要求/规范 | 说明 |
Azure 托管运行时 | 启用托管虚拟网络 | 托管虚拟网络仅在与数据工厂区域相同的区域中受支持 |
自托管运行时 | 自托管运行时应配置使用Private Endpoint接入 | Private Endpoint不支持自承载 IR 进行的交互式创作（如测试连接、浏览文件夹列表和表列表、获取架构和预览数据）通过专用链接进行 |
Azure-SSIS IR | Azure-SSIS IR应使用虚拟网络集成并进行网络权限管控 |
数据安全
分类 | 要求/规范 | 备注 |
网络安全边界 | 1.Azure-SSIS IR应使用虚拟网络集成并进行网络权限管控 2.Azure集成运行时应启用托管虚拟网络 3.优先使用托管Private Endpoint 4.自承载运行时应配置使用ADF Private Endpoint | 虚拟网络集成能够优化网络链路的效率和网络边界 |
权限管理 | 1.优先使用Microsoft Entra ID认证 2.如使用本地身份验证的密钥需加密存储并周期性轮换 3.最小特权原则 | 1.web端管理：资源组层级”数据工厂参与者“ 2.powershell&sdk管理：资源层级”参与者“ 3.细化的权限分配：自定义角色（权限组合）Microsoft.DataFactory/factories 系列 Microsoft.Resources/deployments/ 权限 |
加密 | 1.启用传输加密：HTTPS、TLS 1.2及以上 2.启用存储加密：Azure托管密钥、自托管密钥 | |
密钥管理 | 1.所有密钥需使用受信任的密钥管理 2.密钥需周期性轮转 | 例如 Azure Key vault |
数据保护 | 1.启用Azure Policy进行数据采集出入站数据源管理 2.优先使用源代码管理保护源代码数据和资源管理器模板 3.实时模式管理下需要周期性导出资源管理器模板文件和参数 | 资源管理器模板不会包含任何机密信息 |
运维监视
分类 | 推荐监视项 | 说明 |
Monitor | ##Jobs 1.PipelineFailedRuns（包含Pipeline实例分类）：运行失败的Pipeline数量 2.ActivityFailedRuns（包含Activity实例分类）：运行失败的Activity数量 3.TriggerFailedRuns（包含Trigger实例分类）：运行失败的Trigger数量 ##Managed Vnet Azure IR 1.MVNetIRPipelineCapacityUtilization（包含IR实例分类）：托管网络Azure IR的Pipeline容量使用率 2.MVNetIRPipelineWaitingQueueLength（包含IR实例分类）：托管网络Azure IR的Pipeline队列长度 3.MVNetIRExternalCapacityUtilization（包含IR实例分类）：托管网络Azure IR的外部Pipeline容量使用率 4.MVNetIRExternalWaitingQueueLength（包含IR实例分类）：托管网络Azure IR的外部Pipeline队列长度 | 1.监视对应任务的运行状况 2.监视IR资源使用情况 |
Log | Pipeline、Trigger、Sandbox：日志记录Pipeline、Trigger、Sandbox对应的日志输出 | 用于Audit运行事件并为周期性Review提供重要的数据支撑 |
说明 Azure CN不支持Airflow IR 自承载运行时可使用instance自身的监控数据 |
联蔚盘云——国内领先的多云管理服务提供商
联蔚盘云秉持“帮助客户创造更多价值” 理念，基于深厚的行业经验和客户洞察，以技术创新为本，持续耕耘于云管理服务，为众多中大型行业客户提供基于自主研发基础上的FinOps 云成本优化（订阅制）、AI 大模型，平台工程全生命周期管理、信息安全- 等保、云安全、AI 安全、合规咨询、MSP- 云迁移、云运维、云灾备一站式服务、数据等多云管理全生命周期领先产品及解决方案，帮助客户降本提效、通过云能力提升驱动业务，迎接瞬息万变的挑战，赋能企业数字化转型，拥有云、SRE、安全、项目管理等各领域的专业认证，连续多年获得Gartner 等市场权威机构认可，是微软、阿里云和AWS 等公有云头部合作伙伴。
联蔚盘云20 多年成功服务了100+ 世界及中国500 强客户，基于深厚的行业经验和客户洞察，在零售、消费品、汽车、制造、房地产、金融等行业帮助客户应对数字化时代瞬息万变的商业挑战，创造共创共赢的合作模式，让多云管理更简单。
