Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.012 — 2026-07-16
NEWS 约 1 分钟

单机还是分布式,Polars给出实测

同等算力下,分布式 Polars 仅略快;任务是读数据还是搬数据,才是选择关键。

IMAGE — Polars Blog

把一份大表交给一台大服务器,还是拆给 32 台小服务器?多机器像多找了些人干活,但分工、传文件和对进度也要花时间。Polars——用于清洗、连接和汇总表格数据的高性能引擎——用一次实测说明:分布式并非天然更快,单机也并非只要装得下就一定占优。

作者用约 1 TB 的未压缩 CSV 数据跑 PDS-H 分析查询,数据直接从 AWS S3 读取。单机配置为 128 vCPU、512 GB 内存;分布式配置为 32 台各 4 vCPU、16 GB 内存的机器,总算力与内存相同,AWS 价格也相近。每项测试跑三次并取最快成绩。结果是多数查询接近,分布式总体仅略快,但差异取决于任务:Q8、Q9 这类重度连接查询需要 shuffle——把相关数据跨机器搬到一起——网络传输拖慢了分布式,单机明显更快;Q6、Q14、Q15 主要受读取速度限制,许多小机器可获得更有利的网络带宽,因此分布式更快。说白了,判断是否值得支付调度成本,不能只看数据能否塞进一台机器,还要看瓶颈究竟是“读数据”还是“搬数据”。以上结论来自 Polars 团队自测。


供稿材料 SOURCES — 1

← 返回 2026-07-16 · 数据板块