大数据工具

大数据工具使用分布式或核外计算处理超出单机内存能力的大数据集。Dask和PySpark是将Pandas和NumPy无法处理的数据扩展到更大规模的主要Python工具。它们提供类似DataFrame的熟悉API，同时在多核或集群之间分布计算。