一、智能家居数据的根本挑战
挑战 1:设备碎片化
问题:家里设备来自不同厂商、不同年代、不同协议,没有统一标准。
小米米家、美的、Aqara、自研 ESP32、ESPHome、Yeelight、涂鸦……
→ 每个厂商有自己的 App、自己的云、自己的数据格式
现实约束:
- 厂商云不开放数据(或限制速率/范围)
- 同一厂商不同代际设备协议不同
- 自研设备与商业设备协议不兼容
应对原则:
- 接受碎片化是常态,不要追求"一个平台搞定所有"
- 数据归一化的目标不是"统一设备",而是"统一数据语义"
挑战 2:数据在哪里
问题:数据分散在设备本地、厂商云、家庭中枢、自研网关各处,物理上不在一处。
| 位置 | 数据归属 | 可访问性 |
|---|---|---|
| 设备本地(BLE/Zigbee/红外) | 设备厂商 | 需网关或自研采集 |
| 厂商云(米家云、美的云) | 厂商 | 受限、隐私顾虑 |
| 家庭中枢(HA、OpenHAB) | 自己 | 可访问但字段可能不全 |
| 自研网关(ESP32、树莓派) | 自己 | 完全可控但需维护 |
应对原则:
- 数据主权在家庭侧,尽量不把数据留在厂商云
- 能直采就直采,不能直采就中枢,没有就自研网关
- 中枢是"可选项",不是"必须项"——有些数据必须直采才有完整字段
挑战 3:数据量爆炸
问题:几十个设备、上千个实体,每秒都在产生数据,磁盘和查询扛不住。
60 台设备 × 1088 个实体 × 每 60 秒一条
= 每天 157 万行原始状态快照
= 每年 5.7 亿行
现实约束:
- SSD 寿命有限(频繁写入加速磨损)
- 全量快照 99% 是重复值(灯没变也每分钟记一次)
- 高频数值(压力/温度每秒跳)比状态事件多几个数量级
应对原则:
- 全精度是奢侈品,不是必需品
- 降采样不是"丢数据",是"保留信息的同时减少冗余"
- 区分"事实"(状态跳变)和"观测"(连续数值),各自处理
二、统一收集的方法
原则 1:按"数据语义"统一,不按"设备品牌"统一
错误做法:按品牌分表(小米一张表、美的一张表、自研一张表)。
正确做法:按数据语义分表(数值一张表、状态一张表、原始消息一张表、目录一张表)。
所有数值观测 → obs_numeric(不管来自哪个厂商)
所有状态跳变 → obs_event(不管来自哪个平台)
所有原始消息 → obs_message(不管来自哪个协议)
所有目录名册 → dir_current(统一设备标识)
好处:
- 跨厂商分析变成可能(“美的冰箱启动时,小米插座功率怎么变”)
- 新设备接入只需要映射到统一语义,不需要新建表
原则 2:直采与转发并存,不强行统一
问题:有些设备必须直采(字段全),有些可以转发(省事)。
错误做法:为了"统一",强行让所有数据走同一条路(比如全走 HA),结果字段丢失。
正确做法:按数据完整性选择路径。
字段完整性检查:
中枢里字段是否完整?
├─ 完整 → 可走中枢(省采集代码)
└─ 不完整 → 必须直采(补全字段)
实测案例:
- 泵在 HA 里只有 8 个实体,MQTT 直采有 43 个字段 → 必须直采
- 电表在 HA 里精度一致 → 可走 HA,也可直采
原则 3:多协议网关是必要成本
问题:设备协议太多(MQTT、BLE、Zigbee、红外、RS485),一个网关搞不定。
应对:
- 接受需要多个采集器/网关
- 但采集器到存储的协议可以统一(比如都转成 MQTT 或 HTTP)
- 自研网关(ESP32)解决特殊协议(BLE、红外),商业网关解决通用协议(Zigbee、Z-Wave)
关键判断:
- 协议转换层的价值 = 把异构协议转成统一语义,而不是消灭协议
三、数据归约(降维与降噪)
原则 1:全量快照是反模式
问题:定时全量快照(每分钟抄一遍所有实体)产生 99% 重复数据。
反例:
灯 24 小时没变,但每分钟记一次 "on"
→ 1440 条记录里只有 1 条是新的("灯开了")
正确做法:
- 变化才记(state_changed 才写)
- 定时快照只用于"对账"(确认没漏变化),不作为主要数据源
效果:
- 全量快照:157 万行/天
- 变化才记:~5 万行/天(-97%)
原则 2:数值与状态分开处理
| 数据类型 | 归约方式 | 理由 |
|---|---|---|
| 连续数值(温度/压力/功率) | 降采样(秒级 → 分钟级) | 高频冗余多,均值/极值保留信息 |
| 状态跳变(开关/模式) | 全量保留(每次跳变都记) | 跳变是稀疏事件,不能降采样 |
| 属性微变(温度设定值微调) | 过滤(state 没变就不记) | 属性变化不等于状态变化 |
实测对比:
- 旧方案:所有 state_changed 都记(含属性变化)→ 408 条/5 小时,其中 143 条是属性噪声
- 新方案:只记真状态变化 → 265 条,语义更纯净
原则 3:保留原始,派生可重建
问题:降采样/去重后,如何证明"没丢信息"?
原则:
- 原始数据不可变(append-only,永不删除)
- 派生数据(聚合、去重、slim)可重建,不作为事实源
- 派生表必须标新鲜度(“落后源表 X 分钟”),不能冒充实时副本
实测教训:
- ha_events_slim 一次性回填后落后 852 分钟,但 Grafana 面板还把它当实时数据用
- 正确做法:slim 表必须有持续 writer,否则只能当历史快照
四、数据挖掘(从数据到洞察)
原则 1:先有问题,再有数据
反模式:先囤一堆数据,再问"能挖出什么"。结果大多是"数据很多,洞察很少"。
正确做法:从具体问题出发,倒推需要什么数据。
| 问题 | 需要的数据 |
|---|---|
| 谁在洗澡? | 水流量 + 燃气燃烧 + 浴霸开关 + 湿度 |
| 洗衣机洗到哪一步? | 程序状态 + 水位 + 功率 + 时长 |
| 哪台电器最耗电? | 回路功率 + 设备身份映射 |
| 老人夜间是否安全? | 人体存在 + 门磁 + 温湿度 + 时间 |
原则:数据挖掘 = 多源交叉验证,不是单源拟合。
原则 2:跨源关联是核心价值
单源数据的价值有限:
- 只有功率 → 知道"有设备在用",不知道是哪个
- 只有水流量 → 知道"在用水",不知道是洗澡还是洗衣
跨源数据的价值:
燃气燃烧 on + 水流量 > 5L/min + 浴霸 on
→ 高置信度"有人在洗澡"
洗衣机程序 = 脱水 + 水位下降 + 功率周期波动
→ 知道"洗衣机在脱水",不需要人告诉
原则:数据实验室的目标不是"存数据",是"从多源数据反推家庭活动"。
原则 3:标注是王道,算法是辅助
问题:NILM(非侵入式负载识别)很难全自动,设备指纹会重叠。
应对:
- 人工标注优先:用户说"刚才关的是浴霸排气扇",算法去验证和提取特征
- 算法用于提取数值证据(ΔW、驻留时间、周期通断),不是用于"猜设备"
- 假设必须验证,不能把"可能是洗衣机"当事实
原则:不发明解释,不跨源推断,不用均值抹掉尖峰。
五、成本与性能的平衡
原则 1:存储成本 vs 查询性能
| 方案 | 存储成本 | 查询性能 | 适用 |
|---|---|---|---|
| 全精度原始表 | 高(50 万行/天) | 快(列式引擎) | 近期分析、快速波动 |
| 降采样聚合表 | 低(-80%) | 中(预聚合) | 长期趋势、历史回溯 |
| 原始 + 派生双层 | 中 | 各取所长 | 主流方案 |
原则:
- 近期(<7 天)用原始表,快速波动可见
- 长期(>7 天)用聚合表,趋势足够
- 永久历史保留,但按密度分层存储
原则 2:SSD 寿命 vs 数据完整性
矛盾:SSD 频繁写入会加速磨损,但数据又不能不存。
应对:
- 源头降频(设备采样率从 200ms → 2000ms,-90% 写入)
- 变化才写(state_changed 才写,不写重复快照)
- 批量写入(batch 减少 I/O 次数)
- 分级存储(热数据 SSD、冷数据对象存储/机械盘)
实测效果:
- 泵遥测从 200ms 降到 2000ms:1322 万行/天 → 143 万行/天(-89%)
- HA 事件去重:3.1 亿行 → 4200 万行(-86%)
原则 3:组件数量 vs 维护成本
| 方案 | 组件数 | 维护成本 | 适用 |
|---|---|---|---|
| 全自写 | 多(每个数据源一个服务) | 高(代码维护) | 特殊需求、完全可控 |
| 成熟组件 | 少(1-2 个) | 低(配置维护) | 标准协议、通用场景 |
| 混合 | 中(核心组件 + 少量自写) | 中 | 主流方案 |
原则:
- 标准协议(MQTT/HTTP)→ 成熟组件(Redpanda/Telegraf)
- 特殊协议(WebSocket 多步握手、命令式查询)→ 自写薄脚本
- 归一化的目标是"减少维护负担",不是"形式统一"
原则 4:实时性 vs 成本
| 实时性要求 | 方案 | 成本 |
|---|---|---|
| 秒级实时 | WebSocket 订阅、全精度推送 | 高(连接数、写入量) |
| 分钟级 | HTTP 轮询、定时快照 | 中(实现简单) |
| 小时级 | 定时批量同步 | 低(最省资源) |
原则:
- 安全告警(漏水、烟雾、老人异常)→ 秒级
- 能耗分析、活动理解 → 分钟级足够
- 目录名册 → 小时级(变化极少)
六、核心原则总结
数据主权
- 数据留在家庭侧,不依赖厂商云
- 直采优先于转发,字段不完整就直采
- 原始数据不可变,派生可重建
数据语义
- 按语义统一,不按品牌统一
- 数值与状态分开处理:数值降采样,状态全保留
- 跨源关联是核心价值:多源交叉验证家庭活动
成本意识
- 全量快照是反模式,变化才记是正道
- SSD 寿命有限,源头降频 + 变化才写 + 分级存储
- 归一化不等于统一:按数据完整性选择路径,不强行统一
工程实践
- 先有问题再有数据:从具体问题倒推数据需求
- 标注优先于算法:不发明解释,不跨源推断,不用均值抹尖峰
- 归一化的目标是"减少维护负担",不是"形式上都用同一个工具"
七、一句话总结
智能家居数据工作的本质:在设备碎片化、协议异构、数据量爆炸的现实约束下,用统一的语义框架收集数据,用跨源关联挖掘价值,用分级存储控制成本。
关键不是"用什么工具",而是"知道什么该直采、什么该转发、什么该降采样、什么必须全保留"。