数据平台 · 奖章架构

五层奖章架构 · 季度调研数据

季度调研数据从左到右经过五层——原始层含 PII,去标识化后进脱敏层,清洗加权进暂存工作区,汇聚为作为焦点的指标层,最终归档冷存;层间晋升弧从卡顶跨过,全程单向无回流。

五层奖章架构 奖章架构:季度调研数据从左到右经过五层——原始数据含 PII,去标识化后进脱敏层,清洗加权进暂存工作区,汇聚成业务指标,最终归档冷存。 去 PII 清洗加权 汇聚 归档 原始 raw-bucket 工具 NiFi · 原始写入 格式 CSV · Parquet · JSON 写入者 数据工程师 季度调研示例 Q1 全量 · 含 PII CAPI 原始记录 脱敏 anon-bucket 工具 Trino INSERT 格式 Iceberg · 分区 写入者 数据工程师 季度调研示例 去姓名 · 去地址 稳定家庭 ID 暂存 staging-bucket 工具 Trino · JupyterHub 格式 Iceberg · 清洗 写入者 数据科学家 季度调研示例 加权记录 口径对齐 指标 aggregated-bucket 工具 Trino · JDBC 写入 格式 Iceberg · 指标 写入者 数据科学家 季度调研示例 失业率 劳动参与率 归档 archive-bucket 工具 MinIO lifecycle 格式 冷层 · 不可变 写入者 数据管理员 季度调研示例 历史 Q1–Q4 保留 5 年以上 SQL 路径 Trino INSERT INTO … SELECT 过滤 · 整形 · 关联 · 聚合——集合式变换 笔记本路径 DuckDB + Python/R · JupyterHub 统计 · ML · 交互分析——逐行迭代

焦点

指标层 · 唯一焦点层

目标为焦点层的晋升弧自动升 accent 加粗(此图:汇聚 → 指标层);核心指标在此汇入,焦点信号仍归 accent 一处。

读法

从左到右 · 逐层晋升

  • 3–6 层从左到右 = 质量 / 访问等级递进;晋升弧只在相邻层间,单向无回流
  • 层卡描边、晋升弧、示例值随层语义染色(金 = 工作区 / 沙盒,跨图恒定)

口径

题材判据 · 存储分层

每层 = 同一数据集的不同质量 / 访问等级才用奖章;带角色泳道的工作流用流程、集群架构用数据栈全景。Trino INSERT 与笔记本迭代并行写入。