数据平台 · 高层架构

K8s 数据栈全景

K8s 数据栈全景 数据栈全景图:五个阶段(数据源、采集、存储、加工、可视化)横向排开;四个外部源汇入 NiFi 采集,写入 MinIO 对象存储(焦点枢纽);Trino 对存储做联邦查询,Notebook 加工后与 Trino 查询结果一同交 Superset 出看板;DolphinScheduler 定时触发采集、加工与报表刷新;统一身份(Keycloak · LDAP · OIDC)横贯底部、覆盖全部组件。 数据源 采集 存储 加工 可视化 Kubernetes 集群 统一身份 Keycloak · LDAP · OIDC EXT 业务库 MySQL · 每日全量 EXT SFTP 落盘 定时拉取 EXT 网页表单 活动报名 EXT 遗留系统 DBF 导出 调度编排 DolphinScheduler · 定时补数 · 失败告警 COLL NiFi 流式采集 STORE MinIO 对象存储 VIRT Trino 联邦查询 ANLZ Notebook JupyterHub DASH Superset BI 看板 图例 焦点枢纽 集群组件 外部源(虚线区) 主数据流 调度触发