Fivetran和Astronometer提供的一个新Python包支持气流中的连接器管理。
我们以前讨论过可用于扩展和管理ELT管道的编制工具。从那时起，我们一直在努力开发这些工具的Fivetran集成，以便数据工程师可以从开源项目中受益，同时仍然体验到将他们带到Fivetran的易用性。
现在，我们很高兴介绍这些工具之一的集成，即Fivetran Apache气流供应商!
天文学家帮助组织采用Apache风流。作为这些努力的一部分，他们刚刚发布了天文学家注册表，是气流提供商的枢纽，旨在弥合气流社区和更广泛的数据生态系统之间的差距。如果您熟悉dbt的社区贡献中心和Fivetran的dbt包，这个注册表可能看起来相似。
Fivetran的开发人员关系团队与Astronometer合作，共同开发了一个供应商，允许用户从内部启动和监控Fivetran数据同步。提供程序只需要一个API密钥和API秘密和连接器id配置，结合了Fivetran的自动数据摄入和气流的数据管道编排的好处。以下是我们的用户体验到的三个主要好处:
气流使您能够对事件发生的时间进行精细控制，并了解由管道、它们的依赖关系和执行组成的任务。这允许跨传入数据源进行数据转换。您还可以确定同步的优先级。如果您带来的数据超过了您的仓库可以同时处理的数据量，那么您需要首先推送重要数据，或者首先或最后推送长作业。
如果您在Airflow中使用Fivetran编排ELT，您将继承使用它的所有好处，例如自动数据更新和模式迁移。我们看到很多用户在Python中构建此功能，并花费时间修复和重写提取和加载任务。Fivetran供应商将允许您专注于构建新的DAG，而不是不断修复损坏的DAG，同时充分利用气流所能提供的规模。
同步的这种同步实现了我们在Fivetran上收到的最重要的功能请求之一——能够从Fivetran同步触发数据转换。气流传感器监控Fivetran元数据，并在同步完成后立即解决任务。这很好，因为如果对数据运行转换作业太晚，可能会导致延迟问题和SLA问题；但如果转换开始得太早，EL作业和T作业可能会重叠，并导致数据丢失和完整性问题。
Fivetran用户不仅仅是在移动数据，Fivetran加载数据之前和dbt转换数据之后都会发生一些事情；气流提供了一个单一的空间来管理正在发生的所有数据。Airflow还为各种数据从业者提供了一个单独的协作空间。数据工程师可以构建数据模型，而不必对数据科学家正在构建的机器学习模型有敏锐的了解，反之亦然。
气流将数据管道定义为有向无环图（DAG），DAG主要由称为操作员和传感器的任务构成。Fivetran提供程序支持创建Fivetran运算符和FiveTransensor。如前所述，在气流中运行Fivetran所需的全部是来自Fivetran的API密钥、API机密和连接器ID，以及来自天文学家注册中心的Fivetran提供程序。API密钥和API密钥配置为气流连接，连接器ID配置为气流变量。
在“气流”中，操作符表示单个任务，理想情况下为幂等任务。运算符确定DAG运行时实际执行的操作。Fivetran运算符验证提供的连接器ID是否存在，是否对给定的API密钥和密码有效，将连接器的计划类型更改为按气流定义的计划而不是Fivetran运行，最后调用Fivetran同步的开始。
传感器是一种特殊的操作员。当它们运行时，在完成并让下游任务执行之前，它们将检查是否满足特定条件。FivetranSensor将监控Fivetran同步的状态，并允许DAG在数据完全加载到仓库后立即进行。
FivetranHook包含在我们的提供商中，但只能由高级用户访问和修改。这段代码是气流与Fivetran REST API交互的地方，因此启动和监控Fivetran工作的复杂逻辑被从FivetranOperator和fivetransors中抽象出来，以便使它们尽可能易读和易于使用。
首先，在您的气流环境中运行Fivetran Provider包pip安装气流供应器fivetran，并检查所有其他的气流整合在新的天文学家注册表!