Code
Road
Map
路线图
学习路径
文章
题库
资源
社区
首页
/
路线图
/
数据工程师路线图
数据工程师路线图
一步步成为数据工程师。
难度
中级
时长
47 周
知识点
186
模块
5
0%
整体完成度
…
继续学习
已完成
进行中
未开始
1. 阶段一
0/33
简介
编程技能
数据结构与算法
Git 与 GitHub
Linux 基础
网络基础
分布式系统基础
数据工程生命周期
数据来源
数据采集注意事项
OLTP 与 OLAP
关系型数据库
文档数据库
什么是数据仓库?
数据仓库架构
数据摄取的类型
提取数据
转换数据
加载数据
Apache Airflow
dbt
Luigi
Prefect
大数据工具
Docker
监控
反向 ETL
反向 ETL 的应用场景
认证与授权
加密
令牌化
数据脱敏
数据混淆
2. 阶段二
0/74
什么是数据工程?
数据工程与数据科学
技能与职责
数据工程生命周期
选择合适的技术
Python
数据生成
数据存储
数据摄取
数据服务
数据库
API
移动应用
数据库基础
数据规范化
数据建模技术
CAP 定理
水平扩展与垂直扩展
星型模式与雪花模式
NoSQL 数据库
MongoDB
ElasticSearch
CosmosDB
CouchDB
Neo4j
Neptune
数据仓库
Google BigQuery
Snowflake
Amazon Redshift
数据集市
数据湖
Databricks Delta Lake
Snowflake
Onehouse
数据编织
元数据优先架构
无服务器方案
云计算
批处理
混合模式
实时处理
数据管道
集群计算基础
集群计算简介
分布式文件系统
作业调度
集群管理工具
Kubernetes
Apache Hadoop YARN
HDFS
Apache Spark
容器与编排
Prometheus
Datadog
Sentry
New Relic
测试
Apache Kafka
RabbitMQ
AWS SQS
AWS SNS
数据分析
商业智能
Microsoft Power BI
Streamlit
Tableu
Looker
ETL 与反向 ETL
Census
Segment
Hightouch
机器学习
MLOps
3. 阶段三
0/67
Java
Scala
Go
日志
物联网(IoT)
缓慢变化维度(SCD)
SQL 学习
索引
事务
MySQL
PostgreSQL
MariaDB
Aurora DB
Oracle
MS SQL
列式数据库
Cassandra
BigTable
HBase
图数据库
键值数据库
Redis
Memcached
DynamoDB
数据网格
数据枢纽
Amazon EC2(计算)
S3(存储)
Amazon RDS(数据库)
Glue(ETL)
Azure 虚拟机
Azure Blob 存储
Azure SQL Database
Data Factory(ETL)
Compute Engine(计算)
Google Cloud Storage
Cloud SQL(数据库)
Dataflow
HDFS
MapReduce
YARN
Kubernetes
Google Cloud GKE
AWS EKS
CI/CD
Circle CI
ArgoCD
集成测试
单元测试
端到端测试
功能测试
A/B 测试
负载测试
冒烟测试
消息系统
Terraform
OpenTofu
AWS CDK
Google Deployment Manager
数据质量
数据血缘
元数据管理
数据互操作性
数据质量
GDPR
ECPA
EU AI Act
4. 阶段四
0/8
云架构
GitLab CI
GitHub Actions
什么是消息系统?为什么要使用?
异步通信与同步通信
消息与流
最佳实践
基础设施即代码(IaC)
5. 阶段五
0/4
声明式与命令式
幂等性
可复用性
环境管理