首页 实例探究
复制分片数据库:销售广营公司,Citus数据和Fivetran的案例研究
Fivetran.
首页 实例探究
复制分片数据库:销售广营公司,Citus数据和Fivetran的案例研究

复制分片数据库:销售广营公司,Citus数据和Fivetran的案例研究

当Salesloft面临着令人生畏的挑战 - 结合AWS Redshift中的分片桌 - 它转向Fivetran。

经过 David Kravets.,2018年5月22日

SalesLoft是全球领先的销售参与平台之一。它的座右铭之一是:“我们相信销售。”考虑到这一信条,SalesLoft表示,它“创建了现代销售参与平台”。支持这一功能的数据基础设施是一个Citus数据分片Postgres集群,SalesLoft工程师Mike Sandt说。

“CITUS数据为Salesloft提供托管,多租户,Postgres环境,没有我们自己实施技术的开销。我们在Salesloft处理大型数据量,“Sandt说。“为了帮助缩放我们的技术,因为我们推动企业,我们确定了租户的需要。CITUS通过提供合适的图书馆和运营基础设施使我们更容易。“

Salesloft的挑战是如何将分片桌组合在柱状数据仓库中,AWS红移,为了执行高级分析。这Fivetran.现成的解决方案是通过使用标准Fivetran单独复制群集中的每个数据库Postgres连接器.因此,SalesLoft不需要花费时间或资源来构建或维护自定义基础设施来复制分片数据。

“Fivetran解决了让数据让数据进入我们的仓库,而无需运行滚动自定义基础设施以获得此类任务的启动,”Sandt说。“Fivetran有效地集中了我们的数据,以便我们可以深入了解客户使用情况。”

复制分片数据库的一般策略很简单:将每个单独的数据库复制到自己的架构中,然后使用视图重新组合查询时间的表。这种侧面与ETL管道中的分片数据组合,避免了难以调试和维护的棘手逻辑。即使它在磁盘上物理拆分,数据分析师使用数据将视图查询为单个逻辑表。

该策略利用了现代数据仓库本身处理在多个节点上分布的表格的计算 - 这是数据如何存储在引擎盖下。在实践中,ubers选择底层分叉表的查询视图是高度性能的。数据仓库查询规划仪足够智能,以避免实现中间视图。

这种策略的决赛是自动化这一整个过程。

Fivetran通过自动检测和同步源数据库中的新模式和表格来处理困难的部分。简单的Python脚本是所有必要的,以便自动将视图保持最新,因为在Citus数据集群中创建新模式和表。这可以由Cron计划或在AWS Lambda上运行。以下是查看创建脚本的链接

Sandt说:“Fivetran让从不同的源系统获取数据变得愚蠢而简单。“Fivetran对他们所从事的领域有着非常完整的愿景,并具备必要的底层数据库系统能力,使我们能够快速启动并运行。”

Fivetran Postgres连接器只是其中一个数十个连接器Fivetran提供。这些连接器是来自您的业务应用程序和数据库的数据,该数据库将Fivetran同步到数据仓库中。

关于fivetran.:我们的使命是民主化数据,使公司数据驱动,并提供分析师轻松访问不同的数据源来执行高级分析。

FiveTran只需5分钟设置,Fivetran将所有应用程序,数据库,事件和文件存储复制到高性能数据仓库中。我们的云数据流水线是零配置,零维护,由Fivetran完全管理。

使用Fivetran,大大小小的企业都可以完全控制和拥有自己的数据。使用SQL或所选的商业智能(BI)工具,可以很容易地连接数据源、执行敏捷分析,并最终发现有价值的见解。

Fivetran销售团队可提供演示,并提供免费试用。注册这里

在几分钟内开始分析你的数据,而不是几个月

立即启动任何Fivetran连接器。