那次我想"一把梭"换掉旧架构
HomePulse 的旧采集链路跑了一段时间,代码东一块西一块,我看着就难受。一个念头冒出来:“太乱了,一次性停掉所有旧服务,直接上线新架构,干净利落。”
这个念头,后来差点让我丢掉一大片数据。幸好没真动手。
三个我没想清楚的坑
坑一:新链路一定有 bug,只是你还没发现。
任何新写的链路都有 bug,区别只在它什么时候暴露。我后来在新链路上发现的坑,每一个都是"跑起来才现形":
- 时间戳格式不对——本地时区被当成 UTC,数据整体偏移了 8 小时;
- 字段映射错位——metric_name 对不上号;
- 数据类型搞错——字符串被当成数值塞进去;
- 并发问题——max_in_flight 设置不当导致消息损坏。
这些 bug,静态看代码是看不出来的,只有真实数据灌进来才会炸。而"大爆炸重构"意味着:你要用生产环境去测一条全新的链路。风险高到离谱。
坑二:切换窗口的数据,丢了就是丢了。
我家 MQTT 用的是 QoS 0。这是个很要命的事实:QoS 0 的消息不重传,发了就发了,没收到就是永远丢了。
有一次 Redpanda 重启,中断了 240 秒。就这 4 分钟,2,713 条消息 100% 丢失——不是"延迟",是"彻底没了",而且所有消费者一起丢。
你以为是"秒级切换",实际是"数据断流"。大爆炸重构的切换窗口,就是这样一个黑洞。
坑三:回滚比想象中难得多。
“大不了重启旧服务嘛”——真到那一步你会发现:
- 切换窗口的数据已经丢了,补不回来;
- 旧服务可能已经停掉、甚至删了,重启要重新部署;
- 而数据还在继续断流,你一边回滚一边漏。
回滚不是"重启旧服务"那么简单,数据一致性一旦破坏,就没有简单的回头路。
于是我改成"渐进式演进"
撞了这些墙之后,我彻底放弃了"一把梭"。换成一条慢但稳的路,分四步走。
第一步:新链路先旁路运行,别碰旧链路。
旧链路(生产,继续跑):mqtt-ingest → power_metrics / device_state_metrics
新链路(旁路,不干扰): redpanda-connect → obs_numeric
新链路先跑起来,但完全不影响旧链路。这样就算新链路 bug 满天飞,旧链路的数据还是完整的。旁路阶段的价值:让 bug 在"不影响生产"的前提下全部暴露出来。
第二步:双写对账,证明新老一致。
我把新旧链路的数据拉出来对账,选了一个干净的时间窗口:
- 泵的 23 个指标:数量差 -0.01%;
- 电表 37 个指标:数量差 0.00%;
- 事件:旧表真实状态变化 265 条,新表也是 265 条,差 0。
对账的意义不在"数字好看",在于"证明新链路可以替代旧链路"。 没这一步,谁也别想切。
第三步:逐个消费者迁移,每个独立验证。
迁移顺序从简单到复杂:
- Grafana 加新面板查新表(和旧面板并存,先看数据对不对);
- 分析服务改成读新表;
- 停旧写入服务;
- 观察一段时间,再清理旧表。
关键是一个一个来,每个都能单独回滚。 出问题只回滚这一个,别的照常跑。
第四步:观察期后,才动手清理。
T+7 天 :清理测试表
T+14 天 :评估弃用的 slim 表
T+30 天 :评估旧目录表
永久 :原始观测表不删
历史数据只停写入,不删。观察期里反复确认没有遗漏的消费者、没有隐藏的 bug,才敢动清理。
这件事教给我什么
新链路一定有 bug,别在生产环境赌。 旁路运行是让 bug 安全暴露的唯一姿势。
切换窗口是数据黑洞,QoS 0 尤其如此。 所以必须先对账、证明一致,才谈切换。
回滚的代价,远大于"慢一点"。 大爆炸重构省下的时间,最后都要连本带利还回去。
渐进式慢,但每一步都可验证、可回滚。 这比"一步到位"可靠得多。
教训一句话:重构的快,要拿数据的稳来换。别赌。