Prefect

Prefect是一个开源的编排引擎，可以将您的Python函数轻松转换为生产级数据管道，几乎无需额外的工作。您可以在纯Python中构建和调度工作流——无需DSL或复杂的配置文件——并在任何可以运行Python的地方运行它们。Prefect开箱即用地为您处理繁重的工作：自动状态跟踪、故障处理、实时监控等。