Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.006 — 2026-07-10
NEWS 约 1 分钟

mssql-python 想直接吃 Arrow

mssql-python 正在征求 Arrow 批量写入 API 设计意见。

把一张很大的表从 Python 写进数据库,常见麻烦不是“会不会写”,而是中间要不要反复搬箱子、拆箱子。mssql-python 是 Python 连接 Microsoft SQL Server 的驱动,现在它在征求一个新接口的设计意见:Bulk Copy——一次性批量写入大量数据——是否应该直接接收 Apache Arrow 数据。Arrow 是一种内存里的列式表格格式,常用于让 Python、数据库和分析系统之间少做转换。

这件事值得看,是因为它瞄准的是数据工程里很日常、也很磨人的性能路径:数据帧到数据库。少拷贝路径的意思是,数据在不同系统之间移动时尽量不反复复制和改格式。对大表导入来说,这可能减少时间和内存压力,也会影响工程师以后怎么写导数代码。

目前公开材料还停在 API 设计讨论阶段。mssql-python 维护方提出的核心问题很具体:是新增一个专门的 bulkcopy_arrow() 方法,还是扩展现有 bulkcopy(),让它除了接收逐行迭代的数据,也能接收 Arrow 数据源。换句话说,这不是发布性能结果,而是在定接口。接口一旦定下来,会进入很多人的日常脚本和数据管线,所以现在征求意见本身就有跟踪价值。


供稿材料 SOURCES — 1

← 返回 2026-07-10 · 数据板块