Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.013 — 2026-07-17
REPO 5 STARS 约 1 分钟

Lance争做多模态AI的数据底座

Lance把多模态数据、随机读取、向量检索和版本管理装进同一套开放格式。

IMAGE — GitHub Trending(Rust·日榜)

训练 AI 时,系统常要从海量图片、视频和文字里反复抽取某几条数据。Parquet——一种擅长批量扫描的列式文件格式——并非为这种随机读取而生。Lance想重做这层数据底座:它是一种面向多模态 AI 的开放 Lakehouse 格式,把廉价文件存储与数据库式查询、事务能力结合起来。

它最值得注意的地方,是把原本分散的能力放进同一份数据:既能直接读取指定记录,也能用向量索引寻找语义相近的图片或文本,还支持全文搜索、SQL分析和数据版本管理。项目方称,其随机访问速度可达 Parquet 或 Iceberg 的100倍,同时不牺牲批量扫描性能;这一数字来自项目自述,材料未提供测试环境或独立验证。

这意味着,训练抽样、检索后读取原图,以及新增模型特征,不必再依赖多套数据副本。Lance还兼容 Pandas、DuckDB、Spark 等工具。不过项目仍在活跃开发,团队也提醒生产环境固定稳定的数据存储版本。


供稿材料 SOURCES — 1
01
lance-format/lance GitHub Trending(Rust·日榜) · REPO
原文 ↗

← 返回 2026-07-17 · 开源板块