posts · 2026.11.15

「智能家居数据方法论:问题、原则与取舍」

「智能家居」「方法论」#「数据治理」#「IoT」#「方法论」#「家庭自动化」

一、智能家居数据的根本挑战

挑战 1:设备碎片化

问题:家里设备来自不同厂商、不同年代、不同协议,没有统一标准。

小米米家、美的、Aqara、自研 ESP32、ESPHome、Yeelight、涂鸦……
  → 每个厂商有自己的 App、自己的云、自己的数据格式

现实约束:

  • 厂商云不开放数据(或限制速率/范围)
  • 同一厂商不同代际设备协议不同
  • 自研设备与商业设备协议不兼容

应对原则:

  • 接受碎片化是常态,不要追求"一个平台搞定所有"
  • 数据归一化的目标不是"统一设备",而是"统一数据语义"

挑战 2:数据在哪里

问题:数据分散在设备本地、厂商云、家庭中枢、自研网关各处,物理上不在一处。

位置数据归属可访问性
设备本地(BLE/Zigbee/红外)设备厂商需网关或自研采集
厂商云(米家云、美的云)厂商受限、隐私顾虑
家庭中枢(HA、OpenHAB)自己可访问但字段可能不全
自研网关(ESP32、树莓派)自己完全可控但需维护

应对原则:

  • 数据主权在家庭侧,尽量不把数据留在厂商云
  • 能直采就直采,不能直采就中枢,没有就自研网关
  • 中枢是"可选项",不是"必须项"——有些数据必须直采才有完整字段

挑战 3:数据量爆炸

问题:几十个设备、上千个实体,每秒都在产生数据,磁盘和查询扛不住。

60 台设备 × 1088 个实体 × 每 60 秒一条
= 每天 157 万行原始状态快照
= 每年 5.7 亿行

现实约束:

  • SSD 寿命有限(频繁写入加速磨损)
  • 全量快照 99% 是重复值(灯没变也每分钟记一次)
  • 高频数值(压力/温度每秒跳)比状态事件多几个数量级

应对原则:

  • 全精度是奢侈品,不是必需品
  • 降采样不是"丢数据",是"保留信息的同时减少冗余"
  • 区分"事实"(状态跳变)和"观测"(连续数值),各自处理

二、统一收集的方法

原则 1:按"数据语义"统一,不按"设备品牌"统一

错误做法:按品牌分表(小米一张表、美的一张表、自研一张表)。

正确做法:按数据语义分表(数值一张表、状态一张表、原始消息一张表、目录一张表)。

所有数值观测 → obs_numeric(不管来自哪个厂商)
所有状态跳变 → obs_event(不管来自哪个平台)
所有原始消息 → obs_message(不管来自哪个协议)
所有目录名册 → dir_current(统一设备标识)

好处:

  • 跨厂商分析变成可能(“美的冰箱启动时,小米插座功率怎么变”)
  • 新设备接入只需要映射到统一语义,不需要新建表

原则 2:直采与转发并存,不强行统一

问题:有些设备必须直采(字段全),有些可以转发(省事)。

错误做法:为了"统一",强行让所有数据走同一条路(比如全走 HA),结果字段丢失。

正确做法:按数据完整性选择路径。

字段完整性检查:
  中枢里字段是否完整?
    ├─ 完整 → 可走中枢(省采集代码)
    └─ 不完整 → 必须直采(补全字段)

实测案例:

  • 泵在 HA 里只有 8 个实体,MQTT 直采有 43 个字段 → 必须直采
  • 电表在 HA 里精度一致 → 可走 HA,也可直采

原则 3:多协议网关是必要成本

问题:设备协议太多(MQTT、BLE、Zigbee、红外、RS485),一个网关搞不定。

应对:

  • 接受需要多个采集器/网关
  • 但采集器到存储的协议可以统一(比如都转成 MQTT 或 HTTP)
  • 自研网关(ESP32)解决特殊协议(BLE、红外),商业网关解决通用协议(Zigbee、Z-Wave)

关键判断:

  • 协议转换层的价值 = 把异构协议转成统一语义,而不是消灭协议

三、数据归约(降维与降噪)

原则 1:全量快照是反模式

问题:定时全量快照(每分钟抄一遍所有实体)产生 99% 重复数据。

反例:

灯 24 小时没变,但每分钟记一次 "on"
→ 1440 条记录里只有 1 条是新的("灯开了")

正确做法:

  • 变化才记(state_changed 才写)
  • 定时快照只用于"对账"(确认没漏变化),不作为主要数据源

效果:

  • 全量快照:157 万行/天
  • 变化才记:~5 万行/天(-97%)

原则 2:数值与状态分开处理

数据类型归约方式理由
连续数值(温度/压力/功率)降采样(秒级 → 分钟级)高频冗余多,均值/极值保留信息
状态跳变(开关/模式)全量保留(每次跳变都记)跳变是稀疏事件,不能降采样
属性微变(温度设定值微调)过滤(state 没变就不记)属性变化不等于状态变化

实测对比:

  • 旧方案:所有 state_changed 都记(含属性变化)→ 408 条/5 小时,其中 143 条是属性噪声
  • 新方案:只记真状态变化 → 265 条,语义更纯净

原则 3:保留原始,派生可重建

问题:降采样/去重后,如何证明"没丢信息"?

原则:

  • 原始数据不可变(append-only,永不删除)
  • 派生数据(聚合、去重、slim)可重建,不作为事实源
  • 派生表必须标新鲜度(“落后源表 X 分钟”),不能冒充实时副本

实测教训:

  • ha_events_slim 一次性回填后落后 852 分钟,但 Grafana 面板还把它当实时数据用
  • 正确做法:slim 表必须有持续 writer,否则只能当历史快照

四、数据挖掘(从数据到洞察)

原则 1:先有问题,再有数据

反模式:先囤一堆数据,再问"能挖出什么"。结果大多是"数据很多,洞察很少"。

正确做法:从具体问题出发,倒推需要什么数据。

问题需要的数据
谁在洗澡?水流量 + 燃气燃烧 + 浴霸开关 + 湿度
洗衣机洗到哪一步?程序状态 + 水位 + 功率 + 时长
哪台电器最耗电?回路功率 + 设备身份映射
老人夜间是否安全?人体存在 + 门磁 + 温湿度 + 时间

原则:数据挖掘 = 多源交叉验证,不是单源拟合。


原则 2:跨源关联是核心价值

单源数据的价值有限:

  • 只有功率 → 知道"有设备在用",不知道是哪个
  • 只有水流量 → 知道"在用水",不知道是洗澡还是洗衣

跨源数据的价值:

燃气燃烧 on + 水流量 > 5L/min + 浴霸 on
  → 高置信度"有人在洗澡"

洗衣机程序 = 脱水 + 水位下降 + 功率周期波动
  → 知道"洗衣机在脱水",不需要人告诉

原则:数据实验室的目标不是"存数据",是"从多源数据反推家庭活动"。


原则 3:标注是王道,算法是辅助

问题:NILM(非侵入式负载识别)很难全自动,设备指纹会重叠。

应对:

  • 人工标注优先:用户说"刚才关的是浴霸排气扇",算法去验证和提取特征
  • 算法用于提取数值证据(ΔW、驻留时间、周期通断),不是用于"猜设备"
  • 假设必须验证,不能把"可能是洗衣机"当事实

原则:不发明解释,不跨源推断,不用均值抹掉尖峰。


五、成本与性能的平衡

原则 1:存储成本 vs 查询性能

方案存储成本查询性能适用
全精度原始表高(50 万行/天)快(列式引擎)近期分析、快速波动
降采样聚合表低(-80%)中(预聚合)长期趋势、历史回溯
原始 + 派生双层中各取所长主流方案

原则:

  • 近期(<7 天)用原始表,快速波动可见
  • 长期(>7 天)用聚合表,趋势足够
  • 永久历史保留,但按密度分层存储

原则 2:SSD 寿命 vs 数据完整性

矛盾:SSD 频繁写入会加速磨损,但数据又不能不存。

应对:

  • 源头降频(设备采样率从 200ms → 2000ms,-90% 写入)
  • 变化才写(state_changed 才写,不写重复快照)
  • 批量写入(batch 减少 I/O 次数)
  • 分级存储(热数据 SSD、冷数据对象存储/机械盘)

实测效果:

  • 泵遥测从 200ms 降到 2000ms:1322 万行/天 → 143 万行/天(-89%)
  • HA 事件去重:3.1 亿行 → 4200 万行(-86%)

原则 3:组件数量 vs 维护成本

方案组件数维护成本适用
全自写多(每个数据源一个服务)高(代码维护)特殊需求、完全可控
成熟组件少(1-2 个)低(配置维护)标准协议、通用场景
混合中(核心组件 + 少量自写)中主流方案

原则:

  • 标准协议(MQTT/HTTP)→ 成熟组件(Redpanda/Telegraf)
  • 特殊协议(WebSocket 多步握手、命令式查询)→ 自写薄脚本
  • 归一化的目标是"减少维护负担",不是"形式统一"

原则 4:实时性 vs 成本

实时性要求方案成本
秒级实时WebSocket 订阅、全精度推送高(连接数、写入量)
分钟级HTTP 轮询、定时快照中(实现简单)
小时级定时批量同步低(最省资源)

原则:

  • 安全告警(漏水、烟雾、老人异常)→ 秒级
  • 能耗分析、活动理解 → 分钟级足够
  • 目录名册 → 小时级(变化极少)

六、核心原则总结

数据主权

  1. 数据留在家庭侧,不依赖厂商云
  2. 直采优先于转发,字段不完整就直采
  3. 原始数据不可变,派生可重建

数据语义

  1. 按语义统一,不按品牌统一
  2. 数值与状态分开处理:数值降采样,状态全保留
  3. 跨源关联是核心价值:多源交叉验证家庭活动

成本意识

  1. 全量快照是反模式,变化才记是正道
  2. SSD 寿命有限,源头降频 + 变化才写 + 分级存储
  3. 归一化不等于统一:按数据完整性选择路径,不强行统一

工程实践

  1. 先有问题再有数据:从具体问题倒推数据需求
  2. 标注优先于算法:不发明解释,不跨源推断,不用均值抹尖峰
  3. 归一化的目标是"减少维护负担",不是"形式上都用同一个工具"

七、一句话总结

智能家居数据工作的本质:在设备碎片化、协议异构、数据量爆炸的现实约束下,用统一的语义框架收集数据,用跨源关联挖掘价值,用分级存储控制成本。

关键不是"用什么工具",而是"知道什么该直采、什么该转发、什么该降采样、什么必须全保留"。