训练 AI 时,系统常要从海量图片、视频和文字里反复抽取某几条数据。Parquet——一种擅长批量扫描的列式文件格式——并非为这种随机读取而生。Lance想重做这层数据底座:它是一种面向多模态 AI 的开放 Lakehouse 格式,把廉价文件存储与数据库式查询、事务能力结合起来。
它最值得注意的地方,是把原本分散的能力放进同一份数据:既能直接读取指定记录,也能用向量索引寻找语义相近的图片或文本,还支持全文搜索、SQL分析和数据版本管理。项目方称,其随机访问速度可达 Parquet 或 Iceberg 的100倍,同时不牺牲批量扫描性能;这一数字来自项目自述,材料未提供测试环境或独立验证。
这意味着,训练抽样、检索后读取原图,以及新增模型特征,不必再依赖多套数据副本。Lance还兼容 Pandas、DuckDB、Spark 等工具。不过项目仍在活跃开发,团队也提醒生产环境固定稳定的数据存储版本。