大数据技术

Hadoop/Spark/MapReduce 处理超出单机内存的数据。 与 bi-analyst-essentials 互补：本课对齐 data-analyst 路线图全栈分析流程。

学习目标

• Big Data 5V
• Hadoop HDFS
• Spark 内存计算
• MapReduce 模型

核心概念

本课对齐 /roadmaps/data-analyst 对应节点。

示例

spark.read.parquet('s3://lake/events/').groupBy('course').count()

练习

• 在路线图页面定位本课覆盖的节点
• 完成一个最小可演示示例
• 写 2 条与 CodeRoadMap 站内栈的对照笔记

小结

大数据技术（da-bigdata）完成后进入下一课。