- Published
一张满减券的结算金额变成负数,系统倒贴钱发了三小时补贴——没人报错,因为数据不会自己尖叫。这一集把 Great Expectations 接进管道,用 Expectation Suite 加 Checkpoint 做质量门禁,把上下游的数据约定写成可执行的测试。
一张满减券的结算金额变成负数,系统倒贴钱发了三小时补贴——没人报错,因为数据不会自己尖叫。这一集把 Great Expectations 接进管道,用 Expectation Suite 加 Checkpoint 做质量门禁,把上下游的数据约定写成可执行的测试。
开篇里上游改字段名、ETL 静默写 NULL 的惨案不会自己消失。本篇讲数据可观测性的五大支柱(新鲜度、分布、数据量、schema、血缘),怎么用 Prometheus 搭指标体系、怎么用 OpenLineage + Marquez 落地血缘追踪,以及告警策略的降噪实战。
数据管道最大的风险不是写错 SQL,而是没有纪律地发布它。从一次周五下午的手动上线事故开始,看 Airflow/Dagster 的部署流水线与回滚策略。
DataOps 第一季收官:从一句'谁敢改这个存储过程'开始,聊聊 dbt 如何把数据管道变成可版本控制、可测试的软件工程——三层测试体系、Slim CI 与质量门禁,一次讲透。
凌晨三点老板贴出的 GMV 报表少了整整一个零——上游改了个字段名,ETL 静默地把一列全写成了 NULL。DataOps 就是要把 DevOps 的工程化纪律,系统地应用到数据管道上。