CodeRoadMap
首页路线题库资源库文章社区
CodeRoadMap

程序员的学习成长路线图。内容免费开放,登录后可同步路线图与课时进度。

由 程序员柏风 独立维护 · 关于作者

学习

  • 路线图
  • 课程
  • 面试题
  • 文章
  • 我

更多

  • 资源
  • 社区
  • 关于作者
  • 内容说明

© 2026 CodeRoadMap

津ICP备2026012044号-1·津公网安备12011002026155号·coderoadmap@126.com
数据工程师入门/课时/云平台与对象存储
RawBlame
课时目录12 节

数据工程师入门

  1. 01数据工程是什么
  2. 02基础技能
  3. 03Python 与 SQL
  4. 04存储与数仓
  5. 05数据采集与 ETL
  6. 06编排工具
  7. 07大数据组件
  8. 08数据建模
  9. 09质量与安全
  10. 10云平台与对象存储
  11. 11流处理与 Reverse ETL
  12. 12综合练习

云平台与对象存储

S3/GCS、Snowflake/BigQuery 概念。

30 分钟

云平台与对象存储

现代数据栈大量跑在云上:对象存储存原始文件,托管数仓跑 SQL,IAM 管权限。本课建立 S3/GCS 与 Snowflake/BigQuery 的概念地图。

学习目标

  • 理解对象存储在数据湖中的角色
  • 对比 Snowflake、BigQuery、Redshift 等托管数仓
  • 知道本地练习如何用 MinIO / DuckDB 模拟

对象存储

S3(AWS)、GCS(Google)、Azure Blob 语义相近:

s3://coderoadmap-data-lake/
  raw/mysql/cf_track/dt=2026-09-20/part-000.parquet
  processed/mart/mart_track_stats/
优势注意
便宜、无限扩展不是数据库,列目录要有规范
多引擎共读小文件过多影响性能
版本与生命周期冷数据归档降成本

ETL 常见路径:MySQL → Parquet on S3 → Snowflake COPY / BigQuery Load。

托管数仓概览

产品特点
Snowflake存算分离,跨云,SQL 友好
BigQueryGCP 原生,serverless 查询
RedshiftAWS 生态,与 S3 集成深
DatabricksSpark + 湖仓一体

共同趋势:按查询付费、自动扩缩、标准 SQL。dbt 可对接上述多数平台。

本地 / 低成本练习

工具模拟什么
MinIOS3 API 兼容对象存储
DuckDB本地 SQL 分析 Parquet
MySQL 分析实例小规模 mart

不必为学习立刻开云账单;理解 「文件在桶里,元数据在 catalog,算力在数仓」 即可。

与 CodeRoadMap 架构

生产主站仍可 自建 MySQL + Docker(见 docker-essentials);分析层可:

 nightly mysqldump / JDBC → MinIO/S3 raw
 Airflow + dbt → mart 表(云或本地 DuckDB)
 Grafana / Metabase 读 mart

IAM 与成本

  • 桶策略:ETL 角色 PutObject,分析师 GetObject + 数仓只读
  • 成本:存储便宜,扫描 TB 级表查询贵——分区、列裁剪、物化 mart

与路线图的关系

  • /roadmaps/data-engineer — Cloud / Storage 节点
  • de-storage — 分层架构
  • de-bigdata — Spark 读对象存储
  • 练习

    • 设计 cf_track 的 S3 路径规范(含日期分区)
    • 对比「全放 MySQL mart」与「S3 + 数仓」各一条优缺点
    • 说明 IAM 中 ETL 账号与分析师账号应差哪些权限

    小结

    对象存储是湖的底座,托管数仓是 SQL 算力;云上是规模化的默认选项。 下一课讲流处理与 Reverse ETL。

    加载本节练习…
    ← 上一课质量与安全下一课 →流处理与 Reverse ETL