处理一张近千万行的表,就像整理一座仓库:筛选、分组和拼接中的任何一步变慢,整条分析流程都得等。Parul Pandey 用纽约市黄色出租车行程数据的前三个月、约 900万至1000万行记录,逐步考察日常数据准备能有多少迁到 GPU。
文章先看两条 pandas 路线。cuDF——在 GPU 上处理表格、接口类似 pandas 的库——适合直接编写 GPU 工作流;cudf.pandas 则尽量让旧有 pandas 代码少改甚至不改就使用 GPU。作者也提醒,cuDF 并非 pandas 的完整替代品,行为可能不同。现实边界还在整条链路:数据搬进显存会耗时,不支持的操作也可能回到 CPU,因此某个操作变快,不代表端到端耗时同比下降。供稿节选未披露具体加速倍数,现阶段更值得记住的是这套判断框架,而不是一个漂亮数字。