数据平台 · 奖章架构

五层奖章架构 · 季度调研数据

季度调研数据从左到右经过五层——原始层含 PII,去标识化后进脱敏层,清洗加权进暂存工作区,汇聚为作为焦点的指标层,最终归档冷存;层间晋升弧从卡顶跨过,全程单向无回流。

五层奖章架构 奖章架构:季度调研数据从左到右经过五层——原始数据含 PII,去标识化后进脱敏层,清洗加权进暂存工作区,汇聚成业务指标,最终归档冷存。 去 PII 清洗加权 汇聚 归档 原始 raw-bucket 工具 NiFi · 原始写入 格式 CSV · Parquet · JSON 写入者 数据工程师 季度调研示例 Q1 全量 · 含 PII CAPI 原始记录 脱敏 anon-bucket 工具 Trino INSERT 格式 Iceberg · 分区 写入者 数据工程师 季度调研示例 去姓名 · 去地址 稳定家庭 ID 暂存 staging-bucket 工具 Trino · JupyterHub 格式 Iceberg · 清洗 写入者 数据科学家 季度调研示例 加权记录 口径对齐 指标 aggregated-bucket 工具 Trino · JDBC 写入 格式 Iceberg · 指标 写入者 数据科学家 季度调研示例 失业率 劳动参与率 归档 archive-bucket 工具 MinIO lifecycle 格式 冷层 · 不可变 写入者 数据管理员 季度调研示例 历史 Q1–Q4 保留 5 年以上 SQL 路径 Trino INSERT INTO … SELECT 过滤 · 整形 · 关联 · 聚合——集合式变换 笔记本路径 DuckDB + Python/R · JupyterHub 统计 · ML · 交互分析——逐行迭代