数据平台 · 数据流图

数据平台 · 谁在哪个阶段碰数据

四个角色在五步管道中交接数据:管理员定权限,工程师采集加工,分析师建模发布,使用者只读消费。

数据平台数据流图 数据流图:管理员、工程师、分析师、使用者四条角色道,采集、存储、加工、分析、发布五个步骤;焦点为分析步骤的探索建模节点与工程师向分析师的匿名数据交接;权限管控节点锈红标注治理关注点。 管理员 工程师 分析师 使用者 01 采集 02 存储 03 加工 04 分析 05 发布 匿名数据 ADM 项目启动 建 bucket · 配权限 MinIO · LDAP ADM 权限管控 桶策略 · 目录同步 LDAP 控制台 ENG 源头接入 外部源 → 原始层 NiFi · Kafka LS DB ENG 原始落地 原始数据入湖 MinIO DB DB ENG 清洗加工 原始 → 分析表 NiFi · Trino DB TB SCI 探索建模 匿名数据 → 洞察 JupyterHub TB FL SCI 发布洞察 模型 → 看板 Superset FL FL CON 查询消费 聚合视图 · 只读 Trino TB WB 步骤 01 采集 02 存储 03 加工 04 分析 05 发布 数据类型 WB DB TB FL LS 关注点 权限治理 焦点 流向 常规交接 治理触发 焦点交接 对外消费

焦点

探索建模 · 唯一焦点节点

焦点节点芯片 accent 填充、步骤头数字与名同色;全图恰好一条 accent 跨角色交接——工程师 → 分析师,标注「匿名数据」。

读法

左入右出 · 芯片码字

  • 节点进左缘、出右缘——载荷流向不靠箭头猜
  • 节点上下芯片是数据类型码字(mono 反白),进 = 上、出 = 下
  • 四角色五步:管 / 工 / 析 / 用各占一行,跨行即跨角色

口径

泳道 vs 数据流

跨部门业务流程用泳道;带类型化载荷与角色边界的数据管道才用数据流。五种载荷:流 → 集 → 表 → 报 → 视图。