Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.035 — 2026-08-08
NEWS 约 1 分钟

Silver层能不能负责解码

Protobuf 解码放 Silver 并不越界,关键是原始证据与下游契约是否清楚。

把一箱压缩打包的货物拆开、按标签摆上货架,算“入库”还是“整理”?一场数据工程争论问的是同一件事:Protobuf——按预先定义的 schema(字段结构)编码数据的二进制格式——从字节还原成可查询的列,能不能放进 Silver 层。

发帖者的管道先从 Oracle 取出 250 GB、2500 万条记录,保留 Protobuf 原始字节;到 Silver 解码后,Delta 表膨胀至约 2.8 TB,同时加入所有下游都需要的标准字段。其 schema 的 JSON 描述约 8 MB,层级很深,还有多处重复字段。争议在于:同事认为没有“清洗”就不算 Silver;发帖者则认为,结构化、可信且可供下游依赖的数据模型,本身就是 Silver 的职责。

更实用的答案不在命名,而在契约。奖牌架构通常把 Bronze、Silver、Gold 分别理解为原始数据、标准化数据和业务成品,但没有唯一权威划线。只要原始字节仍可保留和重放,并明确解码采用哪个 schema 版本、怎样处理嵌套与损坏记录,Silver 完全可以负责解码。尤其这里有消费者明确要求保留字段为空的损坏记录,“清洗”反而不能简单等同于删除异常。


供稿材料 SOURCES — 1

← 返回 2026-08-08 · 数据板块