← 类型画廊GitHub ↗

数据平台 · 高层架构

K8s 数据栈全景

五个阶段的端到端数据栈：四个外部源经 NiFi 汇入 MinIO 焦点枢纽，Trino 联邦查询、Notebook 加工后交 Superset 出看板；调度与统一身份横贯全栈。

K8s 数据栈全景 数据栈全景图：五个阶段（数据源、采集、存储、加工、可视化）横向排开；四个外部源汇入 NiFi 采集，写入 MinIO 对象存储（焦点枢纽）；Trino 对存储做联邦查询，Notebook 加工后与 Trino 查询结果一同交 Superset 出看板；DolphinScheduler 定时触发采集、加工与报表刷新；统一身份（Keycloak · LDAP · OIDC）横贯底部、覆盖全部组件。 数据源 采集 存储 加工 可视化 Kubernetes 集群 统一身份 Keycloak · LDAP · OIDC EXT 业务库 MySQL · 每日全量 EXT SFTP 落盘 定时拉取 EXT 网页表单 活动报名 EXT 遗留系统 DBF 导出 调度编排 DolphinScheduler · 定时补数 · 失败告警 COLL NiFi 流式采集 STORE MinIO 对象存储 VIRT Trino 联邦查询 ANLZ Notebook JupyterHub DASH Superset BI 看板 图例 焦点枢纽 集群组件 外部源（虚线区） 主数据流 调度触发

焦点

MinIO · 主数据流中枢

focal 组件拿 accent——四源汇入后的唯一落点；主数据流 NiFi → MinIO → Notebook 实线请求，Trino 双向读写（实线请求 / 虚线回写）。

读法

chevron 阶段 · 扇入等距

  • 阶段 chevron 横幅从左到右有序，组件按所属阶段列对齐
  • 扇入汇聚点入边等距错开（四源 → NiFi），不挤在同一点
  • 查询结果与加工产物一同交 Superset 出看板

口径

边界 · 调度 · 身份底栏

虚线区 = 集群外（四个外部源）；调度条（DolphinScheduler）与身份底栏（Keycloak · LDAP · OIDC）横贯底部——横切关切走底栏，不占主轴。