做语义搜索或 RAG(让 AI 先从资料库找相关内容再回答)时,资料越多,保存它们的数字表示就越吃内存。TurboVec 想把这层基础设施做轻:它是一个带 Python 绑定的 Rust 向量索引,让用户能从常用的 Python 代码调用高性能、强调内存安全的底层实现。项目单日涨星 736,也说明轻量向量检索正在受到关注。
它的核心是 Google Research 的 TurboQuant 量化算法。量化就是用更少位数近似保存向量,在内存占用与检索准确度之间做交换。作者举例称,1000 万份文档以 float32 保存需要 31 GB 内存,TurboVec 可压到 4 GB;同时不需要预先训练,新增向量即可建立索引。搜索时,它还用 SIMD——让 CPU 一条指令同时处理多个数字——加速距离计算。作者自测称,相比 FAISS IndexPQFastScan,4-bit 配置平均快 3.4 倍,2-bit 平均快 23%。这些性能与内存数字目前均来自项目方测试,材料未披露独立复现结果。