大数据组件

当数据量超出单机 MySQL/pandas 舒适区，分布式计算与消息系统进入视野。本课建立 Spark、Kafka、Hadoop 生态的地图，不要求立刻搭集群。

学习目标

CodeRoadMap 当前体量 MySQL + 批 ETL 足够；Kafka 作为事件与 CDC 扩展，见 /tracks/kafka-essentials。

内存分布式计算，批 + 流统一 API：

# PySpark 伪代码
df = spark.read.jdbc(url, "cf_lesson", properties=props)
df.groupBy("track_id").count().write.parquet("s3://lake/lesson_counts")

ETL 逻辑可从 pandas 平移到 Spark SQL，思维一致、规模不同。

分布式 commit log，数据工程里常见用途：

与 Redis Pub/Sub 对比见 kafka-vs-mq。深入消费、分区、lag 见整个 kafka-essentials track。

MySQL binlog → Debezium → Kafka topic "db.coderoadmap.cf_track"
                                → Spark/Flink → staging 表

知道名词即可；新项目优先 云对象存储 + Spark/Trino + 托管 Kafka。