首页 博客
为什么Fivetran构建标准化数据连接器
Fivetran
首页 博客
为什么Fivetran构建标准化数据连接器

为什么Fivetran构建标准化数据连接器

数据复制技术不是为云时代设计的,所以我们设计了一种全新的连接器。

通过 杰夫蒂斯2019年2月5日

业务数据的新范式

Fivetran从一个简单的认识开始:数据复制技术不是为云时代而构建的。我们打算通过设计和构建一种新的数据连接器来改变这种情况,这种连接器可以利用数据分析领域的两个关键进展:SaaS和云仓库。

SaaS的主导地位

以下是一项数据,很好地总结了基于云计算的商业应用的迅速崛起和目前的主导地位:仅在2008年12%的客户关系管理(CRM)应用程序托管在云服务器上;今天,超过87%。与此同时,Salesforce在200,000个全球客户中闭幕,其中许多人利用互补的云的应用程序,如Marketo,Zuora,Zendesk和Jira。来自像这样的应用程序的数据可以让公司为他们的业务运营提供360度的观点,并且它们往往比DIY解决方案更灵活,强大,实惠。

这是企业数据的新范式,它可能会忍受。萨斯市场是预计到2020年将增长到1000亿美元而这个市场的最大部分——客户关系管理(CRM)——可能会到2025年超过800亿美元

下一代数据仓库

随着SaaS数据源的增加和数据量的增加,数据仓库技术并不是一成不变的。仓库供应商转向云,将计算和存储分离,并提供近乎无限的可伸缩性。存储成本大幅下降——从2000年的7.70美元/ GB降至2018年的0.02美元/ GB——尽管计算能力以数量级增长。在仓库中运行分析变成了一个性质上不同的命题。

ETL的瓶颈

从分析的角度来看,这是一个机会巨大的时代——至少在理论上是这样。所有来自无数云数据源的原始数据都可以复制到云仓库中,并可以任意查询。接下来应该有深刻而全面的业务洞察力。

不过,这里有一个障碍:复制技术。到2000年,它的发展停滞不前。组织使用一种效率非常低的特别方法——被称为提取、转换和加载,或ETL——来集中数据进行分析。

将近二十年后,他们开始使用ETL。

ETL是在原始条件下发展起来的:高昂的成本,贫乏的计算能力。为了尽量减少费用和延误,组织必须提前决定对他们的数据提出哪些问题,并投入大量的工程资源来建造定制的管道——这是一个长达数月的过程。提出一系列新的问题需要一个新的渠道;调整源更改或添加新的源也需要额外的工程。定制的连接器通常没有经过充分的测试和硬化,容易破裂或泄漏。

随着云时代的到来,传统的ETL被无望地超越了。

数据复制的新范例

在Fivetran,我们首先建立数据连接器,这些连接器将允许公司实现云应用程序和仓库的潜力。随着SaaS Market融合了许多巨大流行的应用程序,许多公司正在处理相同的API端点,我们有机会通过建立标准化的连接器并结合键节省时间的自动化来大量简化ETL。当我们观看市场并倾听客户需求时,我们看到机会为其他类型的数据来源构建自动化,如事件跟踪和数据库。我们称之为新的方法英语教学,因为它将转换步骤——以及需要回答的具体问题——留给了数据分析师自己决定。通过标准化和自动化消除复杂性——用ELT取代ETL——已成为Fivetran工程文化的持久原则。

我们还想完全消除数据团队的工程负担,所以我们花了数年时间培养我们的核心数据的概念并为我们决定构建的每个连接器分配了专用的工程团队。这些团队在会议室度过了几周,弄清楚将半结构化SaaS数据变为结构化的SQL数据,完善我们的模式和ERDS。他们致力于建立一个连接器的几个月,或者更多月或多年来 - 迭代和战斗测试它。为了保护数据项目的连续性,他们设计了可以检测并自动调整到源更改的连接器,从新的SAAS功能到其他数据库指标。

在敏捷分析时代蓬勃发展

坚固,标准化和全自动连接器,与其他现代工具相结合,允许数据团队快速构建全新功能,从而实现更敏捷和全面的分析。考虑HR软件提供商使用的FiVetran-Look数据堆栈即。即使用FiveTran将其数据复制到仓库和BI工具Looker中以可视化它。即用户现在可以将Looker Analytics仪表板嵌入即将ui以持续地改进其决策。如果没有高度一致的数据流fivetran提供这种统一的响应分析。

即即示例还说明了现代数据堆栈的民主化效果。部署标准化的连接器,云仓库和现代BI工具,您将在组织中启用数据驱动的决策。数据洞察力不会仅限于金融和其他技术团队;人力资源,营销,开发等领域的主要人员将能够访问双层洞察力,甚至可以发展自己的仪表板和指标。

这是Agile Analytics的世界 - 世界Fivetran连接器设计为。

部署数据连接器:购买,而不是构建

如果您致力于敏捷分析,但思考工程您自己的数据连接器,我们将您指向这些眼睛开放返回信封计算.如上所述,连接器项目需要大量的时间投资。看一下我们的故障你会明白为什么怀疑是有保证的。(您也可能发现自己在您的第一个经济学课程中返回劳工单位的划分。)

在几分钟内开始分析您的数据,而不是几个月

立即启动任何Fivetran连接器。