数据管道

数据管道自动化了将数据从源移动到目的地并加以转换的一系列步骤。它们将完整的工作流——摄取、清理、转换和输出——封装为代码。Airflow 等编排工具在生产环境中调度和监控这些管道，确保它们可靠运行，并捕获和处理故障。