一、数据采集的四种基本方式
| 方式 | 原理 | 适用场景 | 关键取舍 |
|---|---|---|---|
| A. 设备直采 | 直接连设备协议(MQTT/HTTP/BLE) | 你有设备控制权或固件可改 | 最完整,但需设备可达 |
| B. 中枢转发 | 通过 HA/网关等中转 | 设备已接入中枢 | 省采集代码,但有转换损失 |
| C. 官方集成 | 用厂商/平台官方接口 | 平台有官方推送能力 | 最省事,但字段受官方限制 |
| D. 文件/快照 | 定时拉取快照(REST API/文件) | 设备只提供快照接口 | 简单,但精度受轮询间隔限制 |
二、核心取舍决策树
取舍 1:直采 vs 中枢转发
设备数据是否已被 HA/中枢接入?
├─ 是 → 中枢字段是否完整?
│ ├─ 完整 → 用中枢(省采集代码)
│ └─ 不完整 → 直采(补全字段)
└─ 否 → 直采(唯一选择)
实测案例(泵):
- HA 里泵只有 8 个实体,MQTT 直采有 43 个字段
- 决策:MQTT 直采(HA 字段不完整,转发会丢 80% 字段)
实测案例(电表):
- HA 转发精度与 MQTT 直采一致(57 行/10分钟)
- 决策:可走 HA(无损失),但 MQTT 直采语义更原始
判断标准:先查中枢里字段是否完整,不完整就直采。
取舍 2:官方集成 vs 自写采集
| 维度 | 官方集成 | 自写采集 |
|---|---|---|
| 维护成本 | 零(官方维护) | 高(自己维护) |
| 字段完整性 | 受官方限制 | 完全可控 |
| 语义精度 | 官方语义 | 自定义语义 |
| 可靠性 | 官方背书 | 自己保证 |
实测案例(HA InfluxDB vs Redpanda):
- HA InfluxDB:全精度、官方维护、字段全(device_class/unit/friendly_name)
- 但:丢 old_state、丢 unavailable/unknown
- Redpanda:有 old_state、有 quality,但 60 秒精度
决策:
- 要完整状态语义(old_state、quality)→ 必须自写(官方不给)
- 只要当前值 → 官方集成足够
取舍 3:全精度 vs 降采样
| 方式 | 数据量 | 精度 | 适用 |
|---|---|---|---|
| 全精度(state_changed 都记) | 大(50 万行/天) | 秒级波动可见 | 事件检测、快速波动分析 |
| 定时轮询(60s) | 小(8 万行/天) | 分钟级 | 趋势分析、常态监控 |
| 变化才记 | 最小(只记跳变) | 精确到跳变时刻 | 状态类、事件类 |
实测对比:
- HA InfluxDB:50 万行/天(全精度)
- Redpanda 轮询:8 万行/天(60 秒)
- 同样信息,6 倍数据量差
决策:
- 要抓快速波动(泵压力振荡、开关抖动)→ 全精度
- 只要趋势/常态 → 降采样足够(省 80% 存储)
取舍 4:统一表 vs 分表
| 方案 | 优点 | 缺点 |
|---|---|---|
| 统一表(obs_numeric 所有数值一张表) | 跨源分析一条 SQL、统一语义 | 需统一字段契约 |
| 分表(每源一张表) | 语义独立、互不影响 | 跨源分析要 JOIN |
实测案例:
- 统一表 obs_numeric:泵/电表/水表同表,一条 SQL 跨三系统分析
- 分表 ha_observations:HA 官方宽表,字段更全但独立
决策:
- 要做跨源关联分析(“泵启动时电表怎么变”)→ 统一表
- 各源独立分析为主 → 分表可接受
注意:统一表需要统一字段契约(entity_id/metric_name/unit),否则查询会乱。
取舍 5:tag vs field(时序库特有)
| 字段类型 | 用途 | 例子 |
|---|---|---|
| tag(主键/索引) | 稳定标识、过滤分组 | device_id、entity_id、metric_name |
| field(测量值) | 高基数数值、状态值 | value、state、temperature |
实测教训:
- 把
friendly_name当 tag → 改名就换时间序列(历史断裂) - 把
state当 tag → 状态翻转就换序列(查询断裂)
决策:
- 稳定标识(device_id、metric_name、domain)→ tag
- 会变的值(状态、数值、friendly_name)→ field
绝对不要:把高基数数值(温度值、功率值)当 tag → series 爆炸。
取舍 6:宽表 vs 长表
| 形态 | 结构 | 适用 |
|---|---|---|
| 宽表(一行多字段) | ts, device, power, voltage, temp, wifi | 一次遥测快照(多字段消息) |
| 长表(一行一指标) | ts, device, metric, value | 多源统一观测 |
实测对比:
- HA InfluxDB:宽表 46+ 列(attributes 全展开),字段全但列多
- obs_numeric:长表 12 列,统一契约但需映射
决策:
- 设备一次发多字段(泵 43 字段)→ 宽表自然,但列数失控时要收敛
- 多源统一观测 → 长表(obs_numeric 模式)
取舍 7:成熟组件 vs 自写
| 方案 | 维护成本 | 适用 |
|---|---|---|
| Redpanda Connect | 低(YAML 配置) | MQTT/HTTP 摄入、写 SQL 库 |
| 自写 Python/Node | 高(代码维护) | 特殊协议(WebSocket 多步握手)、复杂语义 |
实测边界:
- Redpanda 的 websocket input 只支持单条 open_message → HA 多步握手接不了
- Redpanda 的 sql_raw 参数化 → 避免 SQL 注入,比自写拼 SQL 安全
决策:
- 标准协议(MQTT/HTTP)→ Redpanda
- 特殊协议(WebSocket 多步握手、命令式查询)→ 自写薄脚本(但可用 subprocess 接入 Redpanda)
取舍 8:可靠性设计
| 机制 | 作用 | 代价 |
|---|---|---|
| QoS 0 | 最省事 | 中断必丢(无法挽回) |
| QoS 1/2 | 保证送达 | 需发布端支持(固件决定) |
| sqlite buffer | 进程崩溃不丢已收到消息 | 磁盘 I/O |
| memory buffer | 最快 | 崩溃丢数据 |
实测验证:
- sqlite buffer:kill -9 后恢复 6,229 条,零重复
- memory buffer:kill 后只恢复 1 条
决策:
- 数据不能丢 → sqlite buffer 必选(memory 是默认陷阱)
- 可接受丢失 → memory 够快
注意:MQTT 的 QoS 由发布端决定,订阅端请求 QoS 2 也收不到 QoS 0 以上的消息。
三、实战决策流程图
拿到一个新设备/数据源
│
├─ 1. 协议是什么?
│ ├─ MQTT → Redpanda mqtt input(首选)
│ ├─ HTTP GET → Redpanda http_client(简单)
│ ├─ WebSocket 多步握手 → 自写薄脚本 + subprocess
│ └─ 其他 → 评估 Redpanda 是否有对应 input
│
├─ 2. 数据语义是什么?
│ ├─ 连续数值 → obs_numeric(长表统一)
│ ├─ 状态跳变 → obs_event(离散域过滤 + old_state)
│ ├─ 原始消息 → obs_message(完整 payload)
│ └─ 目录名册 → PG dir_current(upsert)
│
├─ 3. 精度要什么?
│ ├─ 抓快速波动 → 全精度(50 万行/天可接受)
│ └─ 趋势监控 → 降采样(60s 轮询,省 80%)
│
├─ 4. 可靠性要什么?
│ ├─ 不能丢 → sqlite buffer(实测恢复 6229 条)
│ └─ 可接受丢失 → memory buffer(快但会丢)
│
├─ 5. 跨源分析要做吗?
│ ├─ 要 → 统一表(obs_numeric 同表)
│ └─ 不要 → 分表可接受(各源独立)
│
└─ 6. 官方集成够用吗?
├─ 只要当前值 → 用官方(省维护)
└─ 要 old_state/quality/原始 payload → 必须自写
四、典型场景速查
| 场景 | 推荐方案 | 理由 |
|---|---|---|
| MQTT 设备遥测 | Redpanda mqtt input → obs_numeric | 原生支持、参数化 SQL、sqlite buffer |
| HA 数值采集 | HA InfluxDB 集成 → GT | 官方维护、全精度、字段全 |
| HA 状态跳变 | 自写 WebSocket 订阅 → obs_event | 官方不给 old_state,必须自写 |
| 设备名册同步 | Node + timer → PG dir_current | registry 只在 WebSocket,无 REST |
| 原始 payload 留档 | Redpanda pump-raw → obs_message | 重放/对账需要完整 JSON |
| 快速波动检测 | 全精度采集 | 降采样会抹掉尖峰 |
| 磁盘敏感场景 | 降采样 + 变化才写 | 省 80% 存储 |
五、核心原则(一句话版)
- 按数据语义分表,不按数据源分表
- 观测留时序库,目录放关系库
- 官方组件优先,但语义缺口必须自写
- 全精度 vs 降采样:看是否需要抓快速波动
- 统一表 vs 分表:看是否做跨源关联分析
- 可靠性用 sqlite buffer,memory 是默认陷阱
- 归一化的目标是"减少维护负担",不是"形式统一"
这份方法论可直接用于新设备接入决策。核心判断顺序:协议 → 语义 → 精度 → 可靠性 → 跨源需求 → 官方能力边界。