随着基于云的工具越来越多地处理ETL的繁重工作，数据工程师可以开始考虑更大的问题。
在时装公司租用跑道11年前，它登上了电商t台，彻底改变了购物者与服装互动的方式。该公司将时尚狂热者与无穷无尽的“云衣橱”连接在一起的平台给时尚零售行业带来了重大颠覆，该公司的估值达到7.5亿美元。
但为该平台和该公司的实体仓库供电需要一个大量物流，甚至更多的数据。自动化数据工具促进了公司的发展，采用它们改变了RTR数据工程团队的角色。在数据工程师增值日，RTR's丹尼尔·道尔顿，数据工程师III，分享了她的团队如何保持最新状态。
在RTR，道尔顿和她的团队正在思考比ETL更重要的问题。“我们试图控制自己的命运”她说：“我们试图在数据工程团队中做到这一点，提高我们的技能，支持总体基础设施，而不仅仅是数据摄取本身。”
推动这一转变的因素并非时尚或电子商务所独有。随着越来越多的团队采用基于云的自动化工具现代数据栈，正在释放跨行业的数据工程团队，使他们能够专注于更具战略性的计划，而不是将时间花在手动编码和修复损坏的管道上。
例如，道尔顿的团队在过去的一年里一直致力于建立通用框架，以方便新供应商或数据源的加入。RTR的另一个重大推动是建立一个自助数据模型，该模型可以为整个公司的数据用户提供能力。虽然前期工作是大量的，但她预计这将为d我沿着这条路走。
“去年，我们奠定了基础这将帮助我们加快速度，”道尔顿说。
随着可靠的数据摄取，道尔顿和她的团队现在正专注于如何提供最佳指导——不仅是向业务内部的直接客户，也向数据的最终用户。她说：“它非常努力地服务于整个业务，只是在数据的背景下进行。”。
这种专业技能让她这样的数据团队成为战略顾问，而不是发号施令者。例如，她的数据工程团队的直接客户由其他五个专门的数据工程团队组成，每个团队都嵌入到业务的不同功能领域。每次有新的项目请求时，她的团队都与客户合作，以真正理解请求的更大的业务环境，然后指导他们通过不同解决方案的成本和资源权衡。
她说:“我们试图提前提出要求，以帮助评估这些决定。”“什么是资源限制?”我们能为您服务的最好方式是什么?我们真的把它当成合作伙伴。”
定期沟通也是至关重要的。数据团队每周都会召开会议，在高层分享他们正在做的工作，因此大型项目不会让任何人感到意外。
她说，对于每一个新项目，“我们并不指望从一开始就把它做好”。“但可以肯定的是，拥有更多的基础设施可以让我们不断迭代，满足他们的需求。”
作为RTR自助服务推广的一部分，分析师们正在推出旁观者作为数据最终用户的商业智能工具，道尔顿的团队正在为他们提供支持。随着她的团队不断发展他们的技能并提供战略指导，他们专注于培养对数据的信心。
“你必须有真正好的基础数据，如果你没有，它就不会起作用，”她在谈到向更大范围项目的转变时说。“你必须把这项工作放在首位。这不是一个闪亮的新工具能够解决的问题。”
“最好从慢一点开始，一个模型一个模型地推广，并建立起信任，”她说，“很难重新赢得被坏数据侵蚀的信任。”
数据工程师的角色正在发生转变，而且越来越好。这一需求旺盛的职业将重新专注于创新、定制和优化项目，最终为公司带来更多价值。