一台设备断了 8 天,我浑然不知
有次我查 HomePulse 的数据,发现那台水泵的遥测已经断了 8 天——BLE 断连了,数据静默,而我这 8 天里毫无察觉,还默认"它一直在正常上报"。
这件小事让我很不安。它暴露了一个更深的问题:家庭服务和企业服务,有着根本的不同,但可靠性这件事,我几乎没有认真对待过。
家庭服务的特殊性在哪?
- 设备会坏、会断连、会离线——这不是异常,是常态;
- 人不会时刻盯着——没有 7×24 的运维,出了问题全靠"某天想起来看一眼";
- 数据丢了就是丢了——QoS 0 的消息不重传;
- 没有专职 SRE——你是唯一的运维,也是唯一的责任人。
但这不意味着可以放弃可靠性。 恰恰相反,正因为没人盯着,才更需要几道基本的保险。
家庭场景需要的三道保险
第一道:备份——但要知道备份在哪、能不能恢复。
我踩过的坑很典型:
- restic 的定时备份早就停了,我却一直以为"我有备份";
- PVE 的快照确实存在,但我从没验证过它能不能完整恢复;
- 有次备份任务 OOM,导出大表时内存飙到 2.2G,差点把机器搞崩。
“有备份"和"能恢复"是两回事。 真正的备份,要能回答三个问题:备份在哪?能不能恢复?恢复要多久?答不上来,等于没有。
第二道:可观测性——掉线了能知道,而不是 8 天后才发现。
水泵断连 8 天没人知道,就是可观测性缺失的典型。我后来做的事:
- 给健康信号加心跳(health_ingest_alive);
- 定期做数据源新鲜度检查;
- 虽然完整告警"以后再做”,但先把健康信号记下来。
这里有个很隐蔽的坑:“服务活着但每轮报错”,比"服务死了"更危险。 我的 device-judge 的 token 被吊销了两周,服务每轮都在报错,但一直"活着",直到我偶然看到日志才发现。这种僵尸状态最骗人。
第三道:渐进式改动——先验证再切换,别赌。
我吃过两次亏:
- 直接改生产配置(把泵的 rt 从 200ms 改到 2000ms),结果泵直接宕机;
- 想一次性停掉旧服务上线新架构,差点丢掉一大片数据。
正确姿势是:新链路先旁路运行、双写对账、逐个迁移、观察期后再清理。 每一步都有回滚路径,尤其连通性变更,必须先布好"超时自动恢复"再动手。
四条底线
把这套想法收敛成一张表:
| 底线 | 含义 |
|---|---|
| 数据不丢 | QoS 0 挽不回,但 buffer 能保住已收到的 |
| 掉线能知 | 先记健康信号,哪怕告警以后再上 |
| 可回滚 | 每一步都有回头路,不搞大爆炸 |
| 备份可恢复 | 知道在哪、能不能恢复、要多久 |
家庭服务不需要企业级的复杂度,但需要这几道基本的韧性。
这件事教给我什么
“活着"不等于"健康”。 服务活着但每轮报错、活着但数据静默,都是更隐蔽的僵尸状态。
“有备份"不等于"能恢复”。 备份的价值在验证过能恢复的那一刻才成立。
可靠性不是"以后再做"。 家庭没人 7×24 盯着,所以更要现在就把健康信号记下来。
渐进式改动是底线,不是可选项。 每一步留回滚路径,尤其涉及连通性的改动。
教训一句话:在没人盯着的地方,可靠性的每一分投入,都是在给未来的自己兜底。