posts · 2026.11.15

家庭场景的可靠性思维

智能家居原则#可靠性#SRE#备份#可观测性#家庭自动化

一台设备断了 8 天,我浑然不知

有次我查 HomePulse 的数据,发现那台水泵的遥测已经断了 8 天——BLE 断连了,数据静默,而我这 8 天里毫无察觉,还默认"它一直在正常上报"。

这件小事让我很不安。它暴露了一个更深的问题:家庭服务和企业服务,有着根本的不同,但可靠性这件事,我几乎没有认真对待过。

家庭服务的特殊性在哪?

  • 设备会坏、会断连、会离线——这不是异常,是常态;
  • 人不会时刻盯着——没有 7×24 的运维,出了问题全靠"某天想起来看一眼";
  • 数据丢了就是丢了——QoS 0 的消息不重传;
  • 没有专职 SRE——你是唯一的运维,也是唯一的责任人。

但这不意味着可以放弃可靠性。 恰恰相反,正因为没人盯着,才更需要几道基本的保险。

家庭场景需要的三道保险

第一道:备份——但要知道备份在哪、能不能恢复。

我踩过的坑很典型:

  • restic 的定时备份早就停了,我却一直以为"我有备份";
  • PVE 的快照确实存在,但我从没验证过它能不能完整恢复;
  • 有次备份任务 OOM,导出大表时内存飙到 2.2G,差点把机器搞崩。

“有备份"和"能恢复"是两回事。 真正的备份,要能回答三个问题:备份在哪?能不能恢复?恢复要多久?答不上来,等于没有。

第二道:可观测性——掉线了能知道,而不是 8 天后才发现。

水泵断连 8 天没人知道,就是可观测性缺失的典型。我后来做的事:

  • 给健康信号加心跳(health_ingest_alive);
  • 定期做数据源新鲜度检查;
  • 虽然完整告警"以后再做”,但先把健康信号记下来。

这里有个很隐蔽的坑:“服务活着但每轮报错”,比"服务死了"更危险。 我的 device-judge 的 token 被吊销了两周,服务每轮都在报错,但一直"活着",直到我偶然看到日志才发现。这种僵尸状态最骗人。

第三道:渐进式改动——先验证再切换,别赌。

我吃过两次亏:

  • 直接改生产配置(把泵的 rt 从 200ms 改到 2000ms),结果泵直接宕机;
  • 想一次性停掉旧服务上线新架构,差点丢掉一大片数据。

正确姿势是:新链路先旁路运行、双写对账、逐个迁移、观察期后再清理。 每一步都有回滚路径,尤其连通性变更,必须先布好"超时自动恢复"再动手。

四条底线

把这套想法收敛成一张表:

底线含义
数据不丢QoS 0 挽不回,但 buffer 能保住已收到的
掉线能知先记健康信号,哪怕告警以后再上
可回滚每一步都有回头路,不搞大爆炸
备份可恢复知道在哪、能不能恢复、要多久

家庭服务不需要企业级的复杂度,但需要这几道基本的韧性。

这件事教给我什么

  1. “活着"不等于"健康”。 服务活着但每轮报错、活着但数据静默,都是更隐蔽的僵尸状态。

  2. “有备份"不等于"能恢复”。 备份的价值在验证过能恢复的那一刻才成立。

  3. 可靠性不是"以后再做"。 家庭没人 7×24 盯着,所以更要现在就把健康信号记下来。

  4. 渐进式改动是底线,不是可选项。 每一步留回滚路径,尤其涉及连通性的改动。

教训一句话:在没人盯着的地方,可靠性的每一分投入,都是在给未来的自己兜底。