← 类型画廊
GitHub ↗
数据平台 · 奖章架构
五层奖章架构 · 季度调研数据
季度调研数据从左到右经过五层——原始层含 PII,去标识化后进脱敏层,清洗加权进暂存工作区,汇聚为作为焦点的指标层,最终归档冷存;层间晋升弧从卡顶跨过,全程单向无回流。
五层奖章架构
奖章架构:季度调研数据从左到右经过五层——原始数据含 PII,去标识化后进脱敏层,清洗加权进暂存工作区,汇聚成业务指标,最终归档冷存。
去 PII
清洗加权
汇聚
归档
原始
raw-bucket
工具
NiFi · 原始写入
格式
CSV · Parquet · JSON
写入者
数据工程师
季度调研示例
Q1 全量 · 含 PII
CAPI 原始记录
脱敏
anon-bucket
工具
Trino INSERT
格式
Iceberg · 分区
写入者
数据工程师
季度调研示例
去姓名 · 去地址
稳定家庭 ID
暂存
staging-bucket
工具
Trino · JupyterHub
格式
Iceberg · 清洗
写入者
数据科学家
季度调研示例
加权记录
口径对齐
指标
aggregated-bucket
工具
Trino · JDBC 写入
格式
Iceberg · 指标
写入者
数据科学家
季度调研示例
失业率
劳动参与率
归档
archive-bucket
工具
MinIO lifecycle
格式
冷层 · 不可变
写入者
数据管理员
季度调研示例
历史 Q1–Q4
保留 5 年以上
SQL 路径
Trino INSERT INTO … SELECT
过滤 · 整形 · 关联 · 聚合——集合式变换
笔记本路径
DuckDB + Python/R · JupyterHub
统计 · ML · 交互分析——逐行迭代