首页 案例研究
Sharethrough部署Fivetran来集中有价值的上下文数据
Fivetran
首页 案例研究
Sharethrough部署Fivetran来集中有价值的上下文数据

Sharethrough部署Fivetran来集中有价值的上下文数据

Fivetran复制Sharethrough的上下文应用程序数据,并将其导入包含大量大数据事件流的中央仓库。

通过 大卫·克拉威茨,2018年3月8日

关键的外卖

  • 快速数据复制

  • 简单的设置没有ETL

  • 零维护

  • 商业智能集中

  • “革命”

Sharethrough是供应端本地广告平台的行业领导者。这家总部位于旧金山的公司开发了本土广告概念。它的在线广告交换每月为超过120亿的本地广告展示提供动力。它有170名员工遍布奥斯丁、芝加哥、底特律、洛杉矶、伦敦、纽约、旧金山和多伦多。Sharethrough的使命是授权出版商控制自己的命运,他们通过开发符合出版商网站或应用程序用户体验的广告产品来实现这一目标。Sharethrough的庞大用户名单——包括出版商和广告商——相当于一个一流的名人,包括康尼格拉、福布斯、英特尔、微软、滚石、东芝、VICE和其他一些公司。

观看谷歌的广告交换产生了大量、高频率的活动数据流,其成功取决于对这一大数据流的理解。但是,如果没有业务上下文,就无法理解这些事件。例如,单个事件包含客户ID,但不包含该ID的其他业务上下文,例如客户名称和客户配置。理解每个事件中编码的ID和标记所需的业务上下文存储在Sharethrough的广告交换后端应用程序数据库中。

观看使用Fivetran保护数据管道,使此业务上下文可用于分析。Fivetran复制Sharethrough的后端应用上下文数据,并将其输送到Sharethrough的中心数据仓库中,其中包含大量的大数据事件流。Sharethrough的数据仓库中有事件数据和业务上下文数据,Sharethrough使用商业智能(BI)工具和特别查询来了解发布者和广告商活动的性能。分析洞察力被用于运营和战略上,以确保Sharethrough及其客户的成功。如果没有通过Fivetran管道获得的业务上下文,这是不可能的。

简单的开始:复制到更快的数据库中

最初,Sharethrough对Fivetran的使用非常简单:将遗留的MySQL报告数据库复制到分析数据库中。遗留的MySQL数据库已经增长并变得太慢:临时分析查询太慢,没有任何用处。为了克服MySQL分析性能的限制,Sharethrough工程师编写了经过仔细调优的查询,这些查询通过RESTAPI公开给应用程序。几乎没有灵活性,也没有真正的分析。

Sharethrough开始使用Fivetran将这个遗留的MySQL报告数据库复制到雪花,一个现代用于数据仓库.一旦使用Fivetran将遗留报表数据复制到Snowflake中,就可以以任何方式查询数据,而不受源MySQL数据库平台的查询性能限制。

仅此用例就足以证明使用Fivetran是合理的,而且设置起来非常简单。对于Sharethrough的高级员工工程师Dave Abercrombie来说,Fivetran管道“只起作用”:“没有劳动力。你只安装了一次Fivetran,就完成了。它起作用了。它只起作用了。Fivetran维护基本上没有工程资源投入。”

使用大量事件数据连接业务上下文

Abercrombie描述了在Fivetran完全集成之前,Sharethrough的分析师需要筛选广告交换应用的元数据,以找到与分析相关的id和标签。例如,要分析客户对特定产品的使用情况,分析师将首先搜索后端应用程序元数据数据库,以获取用于分析的特定ID和标记值。

“然后作为第二步,我们必须将这些id和标签带到事件流数据库,并使用它们来过滤我们的事件流,”他说。“需要查看不同的数据库并手动输入不同的信息,这很麻烦。”

然而,有了Fivetran管道,Abercrombie说,“我们可以使用SQL直接将事件与客户名称和产品等元数据连接起来。*我们使用Fivetran提供业务上下文数据,使我们能够理解事件流中的id和编码。”

所有元数据源的“革命性”推出

一旦Fivetran在这些用例中证明了自己,Sharethrough决定使用Fivetran将其所有业务上下文元数据源都引入Snowflake分析数据库。其中包括Salesforce,以及数据谷歌表,以及一些其他应用程序数据库。简而言之,Abercrombie说,Fivetran数据管道将Sharethrough的数据从其支持的业务应用程序连接到一个数据仓库中。

Abercrombie说:“Fivetran允许我们将系统上运行的许多数据库统一起来,将它们纳入一个单一的分析数据库,这样我们就可以在完整的数据集上而不是在一个子集上提问。”“这是一种革命性的发明。”

Sharethrough的高级商业分析师Jennifer Xia表示,Fivetran承担了繁重的工作,让公司分析师得以专注于分析,并在必要时轻松改变方向。“如果没有Fivetran,我们现在能够收集并在一个地方看到的所有元数据就很难统一起来,”夏说。“研究将会更加缓慢和困难。”

此外,夏说:“我们的客户团队能够及早发现问题,使我们能够在问题成为大问题之前解决问题。”

推动商业智能

Fivetran简化了Sharethrough的ETL过程。工程师不需要将数据从一个数据库移动到另一个数据库。Abercrombie表示,通过Fivetran处理后端应用元数据传输,工程师可以转而专注于转换业务上下文元数据,使其适合BI工具。

观看数量选择MicroStrategyAbercrombie说,作为其查询数据的BI工具,Fivetran将数据复制到Snowflake中,供Sharethrough使用。

像MicroStrategy这样的商业智能工具通过沿着业务“维度”对聚合的事实和事件进行切片和分割来发挥其魔力。健壮和相关的维度是成功的关键,Abercrombie说:“应用元数据在其原始形式中通常不是理想的BI,通常受益于额外的转换,使业务上下文具有生命力,并将其转变为可靠的维度。通过Fivetran处理基本的数据传输,Sharethrough工程师可以自由地专注于微妙的逻辑,将原始的应用元数据转化为有用和安全的BI维度。”

金罐:“枢轴还是坚持”

Sharethrough处于一个快速变化的行业,因此新产品和功能不断开发和测试。这就是为什么Sharethrough的核心价值观之一是“行动”,这里定义为通过行动学习和不断改进,重点是决策和学习。

显然,数据分析对于Sharethrough的“转向或坚持”文化至关重要。Abercrombie表示,从原始数据的角度来看,Fivetran向Sharethrough选择的数据仓库传输的应用元数据中,最容易看到实验性的新产品。

当开发了新特性时,Fivetran将自动开始将新数据引入数据仓库。“通过Fivetran优雅地处理基本的数据库传输,Sharethrough的工程师可以专注于将新功能的原始元数据转换为可用的分析维度,”Abercrombie说。总而言之,Fivetran为Sharethrough提供的数据管道在实现Sharethrough的使命中扮演着“关键角色”:“我们将能够立即获得指标,以知道是继续前进还是坚持下去。”我们非常的实验。能够通过Fivetran元数据非常快速地暴露新功能,这是我在彩虹的末端的金子。”

关于Fivetran:我们的使命是让数据大众化,让企业以数据为驱动,让分析师能够轻松访问不同的数据源,进行高级分析。

Fivetran为大小企业构建零配置、零维护和完全管理的云数据管道。只需5分钟的设置,Fivetran就可以将所有应用程序、数据库、事件和文件存储复制到高性能数据仓库中。分析师使用他们选择的商业智能工具查询这些集中的数据。

通过Fivetran,企业可以完全控制和拥有其数据。通过Fivetran,加入数据源、执行敏捷分析并最终发现有价值的见解非常容易。

在几分钟内开始分析你的数据,而不是几个月

立即启动任何Fivetran连接器。