Spark

Apache Spark 是一个分布式数据处理引擎，适用于大规模批处理和流式工作负载。它在集群上以内存方式处理数据，因此在迭代计算方面比 MapReduce 快得多。Spark 支持 Python（PySpark）、Scala 和 SQL，并提供机器学习（MLlib）和图计算等库。