Airflow

Airflow 是一个用于以编程方式编写、调度和监控工作流的平台。借助 Airflow，你可以将工作流编写为由任务构成的有向无环图（DAG）。Airflow 调度器会按照指定的依赖关系，在一组工作节点上执行你的任务。丰富的命令行工具让对 DAG 进行复杂操作变得轻而易举；功能完善的用户界面则让你可以轻松可视化生产环境中运行的管道、监控进度，并在需要时排查问题。当工作流以代码形式定义时，它们会变得更易于维护、版本管理、测试和协作。