Optoro的平台为归还的物品找到了一个新家。以下是其工程团队保持关键任务数据流动的方法。
回想到最后一次返回你在线购买的物品：也许那种彩色的运动鞋不太适合，或者挥霍值抵达缺少一个按钮。当您寄回交换或退款时，该项目通过仓库和供应链的复杂回程航行产生了丰富的数据点。将每天返回的无数物品乘以越来越多的人在家中，您将迅速意识到那里有一个数据的海洋。
这是兴奋的问题Optoro，一名华盛顿特区的直流科技公司，其平台将退回的物品连接到下一个最佳家庭 - 最终通过减少浪费来节省客户的资金并帮助环境。
在我们最近的数据工程师感恩日Optoro首席数据工程师Patrick Campbell指出，由于退货库存通过不同的系统进行运输，它会产生大量的运营数据。这些数据对Optoro来说至关重要，但直到最近，Optoro还不清楚这些数据的质量，而且很难与最需要这些数据的终端用户建立信任。
“我们缺乏对我们数据质量，简单而简单的洞察力的洞察力。”坎贝尔说。“当它可能缺少数据时，我们没有良好的方法，何时可能丢失数据，或者如果数据不是我们预期的。”
当Optoro团队开始草拟解决方案时，他们意识到自动化数据可观察性可以解决这个问题。
就像软件工程师依赖于可观察性解决方案来衡量Web应用的健康，数据工程师认为数据可观察性作为监控数据流水线和警报问题的方法。虽然标准测试和支票始终是最佳实践，但新的自动化解决方案使用机器学习，从时学习公司的独特数据模式，更好地检测异常。通过监控公司的整个数据生态系统，这一新一代解决方案可以检测问题并立即通知用户。
由于如何毁灭停机时间，这种积极的质量保证方法可以对公司的底线产生有意义的影响。在一个最近的调查三分之二的数据工程师表示，管道中断降低了运营效率，而59%的人表示，管道中断会推迟重要决策，从而导致失去机会或处于竞争劣势。近40%的公司表示，数据下降会影响客户满意度。
Optoro的坎贝尔还指出，这类问题进一步恶化了内部利益相关者之间的信任。“如果我们有停机时间，这对我们的客户来说是一个相当大的成本，这是不可持续的。”他说，当出现问题时，“这会导致人们不信任我们的数据，不信任我们提供有关我们软件管理的库存的可靠信息的能力。”
Optoro在现代数据栈中找到了解决方案，使用了自动化、基于云的工具，可靠地从多种来源收集数据:
Fivetran管道将运营数据库的数据连接到Snowflake仓库，数据客户端使用Looker、Tableau和特别的分析工具来可视化和生成见解。蒙特卡罗Optoro是一款自动数据观察工具，用于学习Optoro的数据模式，并在出现问题时提醒正确的人。
坎贝尔说，他的团队特别欣赏他们新发现的追溯血统的能力。换句话说，当某些东西崩溃时，他们一眼就能知道哪些数据库、报告和用户会受到影响。他们还能很快发现哪些上游来源可能导致了这个问题。“我们可以看到受影响的数据源，从数据集市一直到面向客户的Looker报告，”他说。
他补充说:“这不仅是数据工程的胜利，因为它能够追踪大海捞针的问题，而且能够让其他数据团队帮助我们保持对我们数据的信任。”
由于优先考虑了数据的可观察性，Optoro团队每周为每个数据工程师节省了大约4个小时的工作时间。最重要的是，他们继续在整个公司建立信任，并获得对他们的数据的信心。正如Campbell所说，“数据完整性真的应该是自助式的，你的数据工程师会感谢你的。”