云平台与对象存储
S3/GCS、Snowflake/BigQuery 概念。
30 分钟
云平台与对象存储
现代数据栈大量跑在云上:对象存储存原始文件,托管数仓跑 SQL,IAM 管权限。本课建立 S3/GCS 与 Snowflake/BigQuery 的概念地图。
学习目标
- 理解对象存储在数据湖中的角色
- 对比 Snowflake、BigQuery、Redshift 等托管数仓
- 知道本地练习如何用 MinIO / DuckDB 模拟
对象存储
S3(AWS)、GCS(Google)、Azure Blob 语义相近:
s3://coderoadmap-data-lake/
raw/mysql/cf_track/dt=2026-09-20/part-000.parquet
processed/mart/mart_track_stats/
| 优势 | 注意 |
|---|---|
| 便宜、无限扩展 | 不是数据库,列目录要有规范 |
| 多引擎共读 | 小文件过多影响性能 |
| 版本与生命周期 | 冷数据归档降成本 |
ETL 常见路径:MySQL → Parquet on S3 → Snowflake COPY / BigQuery Load。
托管数仓概览
| 产品 | 特点 |
|---|---|
| Snowflake | 存算分离,跨云,SQL 友好 |
| BigQuery | GCP 原生,serverless 查询 |
| Redshift | AWS 生态,与 S3 集成深 |
| Databricks | Spark + 湖仓一体 |
共同趋势:按查询付费、自动扩缩、标准 SQL。dbt 可对接上述多数平台。
本地 / 低成本练习
| 工具 | 模拟什么 |
|---|---|
| MinIO | S3 API 兼容对象存储 |
| DuckDB | 本地 SQL 分析 Parquet |
| MySQL 分析实例 | 小规模 mart |
不必为学习立刻开云账单;理解 「文件在桶里,元数据在 catalog,算力在数仓」 即可。
与 CodeRoadMap 架构
生产主站仍可 自建 MySQL + Docker(见 docker-essentials);分析层可:
nightly mysqldump / JDBC → MinIO/S3 raw
Airflow + dbt → mart 表(云或本地 DuckDB)
Grafana / Metabase 读 mart
IAM 与成本
- 桶策略:ETL 角色
PutObject,分析师GetObject+ 数仓只读 - 成本:存储便宜,扫描 TB 级表查询贵——分区、列裁剪、物化 mart
与路线图的关系
- /roadmaps/data-engineer — Cloud / Storage 节点