Hadoop、Spark、MapReduce

Hadoop、Spark 和 MapReduce 是用于在机器集群上处理大型数据集的框架。MapReduce 是原始模型，将处理拆分为分布在节点上的映射和归约步骤，而 Spark 在此基础上进行了改进，采用内存处理以获得更快的性能。当系统需要处理单台机器无法应对的数据规模时，架构师会考虑这些工具。