ETL、数仓、Airflow/dbt 与数据质量,系统覆盖 data-engineer 路线图。
登录后追踪本课程进度 —登录
数据工程是什么
vs 数据科学、生命周期、职责边界。
基础技能
Linux、Git、网络、分布式基础。
Python 与 SQL
pandas 直觉、SQL 查询、衔接 sql-essentials。
存储与数仓
OLTP/OLAP、关系库、文档库、数仓架构。
数据采集与 ETL
extract/transform/load、批处理模式。
编排工具
Airflow、dbt、Prefect、Luigi。
大数据组件
Spark、Kafka、Hadoop 生态概览。
数据建模
维度建模、星型/雪花、缓慢变化维。
质量与安全
校验、加密、脱敏、权限。
云平台与对象存储
S3/GCS、Snowflake/BigQuery 概念。
流处理与 Reverse ETL
实时管道、CDC、reverse ETL 场景。
综合练习
设计 tracks 表的每日 ETL DAG 草图。