新的!Fivetran业务关键计划帮助企业满足数据安全和数据隐私需求。了解更多。

博客
数据工程师不想做ETL
Fivetran.
博客
数据工程师不想做ETL

数据工程师不想做ETL

自动化构建和维护数据流水线的过程,以释放数据工程师以获取更有趣,关键任务项目。

经过 Ciara Rafferty.,2020年9月16日

反对Fivetran的一个论点是,一旦采用,它将消除对数据工程师的需求。我们得到了这一点,但Fivetran真的保存了企业,不得不雇用其他工程师。没有fivetran,发现需要雇用两到三名额外的工程师,Moroch offile需要额外的工程师和DBA,佩洛需要三个额外的工程师strava.需要一个额外的全日制工程师来支持营销团队的数据需求。

我们在这里争辩说数据工程工作是安全的。尽管采用Fivetran的劳动性质,但该行业仍然有一个数据工程人才短缺对角色的需求继续增长。

消除手动ETL以开放数据工程师的机会

企业需要数据工程师,但不是ETL。这实际上非常好消息,因为数据工程师实际上不想做ETL。

杰夫·麦格森,缝合修复的数据平台副总裁,在2016年写了一篇博客帖子这真的击中了这个消息主页:“对数据空间中的工程师的常见恐惧是,无论职位描述还是招聘炒作,您都偷偷搜索了ETL工程师。如果您没有意识到它,没有人喜欢写作和维护数据管道或ETL。这是行业的终极热马铃薯。它真的不应该是一个惊喜,那么,ETL工程角色是平庸的原型繁殖。“

它归结为数据工程师是非常有才华的,宝贵的资源,应该致力于开发专有的产品和利基解决方案,以帮助您的商业优势。为什么当像Fivetran这样的解决方案可以为您处理这个过程时,为什么将它们奉献给建筑物的乏味,维护管道?此外,您认为您的工程师希望努力解决与现有工具很容易解决的问题吗?

现代数据工程师的作用

那么,数据工程师做了什么?使用数据管道自动化,将转换数据工程师的作用。麦克森分享了他的思想,三年来,Tristan对鱼叉分析的方便分享了他认为现代数据工程师应该专注于他解释的东西在本文中

  • 管理和优化核心数据基础架构

  • 建设和维护定制摄取管道

  • 使用设计和性能优化支持数据团队资源

  • 构建非SQL转换管道

数据工程师有所作为的五家公司

我们已经听到了从数据工程团队及其同事中听到了大量的故事,强调了角色的重要性。消除数据工程师职位描述的ETL使工程师能够专注于创新,定制和优化。我们说数据工程师正在享受文艺复兴时期。

1. Sendbird.

运营负责人和副Sendbird.承认从数据工程团队中获取Fivetran的购买很难。他们不相信解决方案可以自动和可靠地将数据传送到仓库而无需维护。一旦他们看到了行动的工具,他们的意见就发生了变化。每次手动任务减轻,每月近20小时保存,他们能够致力于构建数据湖的时间。除了能够实现其工程项目外,释放时间使团队能够了解更广泛的业务影响。他们正在寻找产品特征和工程影响的销售和保留方式。

2.点火组

首席技术与创新官点火组发现自己在类似的情况下。当他向数据仓库团队引入Fivetran时,他们推回来了。现在,在看到它的行动之后,球队是Fivetran的最大粉丝。随着时间的推移,团队可以与其他业务单位合作,收集反馈和学习,真正支持整个业务而不是尴尬的硬件配置。使用Fivetran到位,该团队能够专注于帮助公司的分析师通过为其雪花仓库写尺寸视图来帮助公司的分析师。

3.平方

正方形,工程师花费更少的时间担心多遗留系统内的重建基础设施,而是为新产品构建基础设施。使用Fivetran帮助扩展管道工程师可以专注于构建第1派对的业务需求解决方案。

4.喷泉

可靠的数据自动集成到其仓库中,喷泉能够追求机器学习,而不是花时间建设和维护数据管道。

5. Billie.

用管道照顾,德国金公司启动Billie.能够改进文档,为内部利益相关者等数据编目,例如数据科学和分析团队以及成本优化。焦点已从管道转移到转换数据以使其对用户更有用。Data Igor ChtivelBand的VP对数据工程师的未来感到兴奋:“数据工程师不应该害怕他们将无法完成工作。每项新技术都会创造新的工作和新的机会。从消除手动,令人心动的任务,有机会更加复杂。“

如果你没有做到ETL,你能够开心哪些项目?推特我们,让我们知道!

在几分钟内开始分析您的数据,而不是几个月

立即启动任何Fivetran连接器。