Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.074 — 2026-09-16
NEWS 约 1 分钟

一场非正式的数据管线性能赛

社区拿同一张半十亿行数据表跑五道题,观察引擎选择如何影响速度与成本。

IMAGE — r/dataengineering 日榜

同一批货,换一套分拣设备,出库速度可能差一倍。这个社区挑战把类似问题搬到数据管线:参赛者用自选语言和数据引擎,查询 Backblaze 公开的半十亿行硬盘运行记录,完成五项分析任务。数据采用 Apache Iceberg——一种为大型分析数据集补上表结构、快照和分区管理的开放表格式,因此大家面对的是同一张表,而非各家的专有格式。

目前公开提交里,单机组限制为 8 vCPU、32 GiB 内存。以同一位贡献者在 Apple M4 Pro 上的结果为例,DuckDB 查询指定日期的硬盘规模耗时 3.4047 秒,Polars 为 7.3692 秒;但分析硬盘型号构成时,Polars 又以 2.9198 秒略快于 DuckDB 的 3.0511 秒。这个反转比总榜名次更有意思:引擎选择、查询实现和数据裁剪方式,会随任务不同而改变收益。项目要求公开代码、硬件与缓存状态,不过成绩由贡献者自行报告,并非受控测试,适合用来理解工程取舍,不宜当作通用性能定论。


供稿材料 SOURCES — 1

← 返回 2026-09-16 · 数据板块