给数百亿张图片找“相似款”,如果所有线索都摊在昂贵的内存里,规模越大,机器账单越难控制。Pinterest正在调整其向量检索系统 Manas:减少依赖 HNSW——一种速度快、召回率高,但很占内存的多层近邻图索引,转向量化 SPANN。后者把大部分数据放进 SSD,只在内存保留较小的索引;量化则用更少比特近似记录向量。
据 InfoQ 转述 Pinterest 工程团队的测试,在超过 50 亿个嵌入向量——把图片或兴趣转换成数字表示——的 Pin 推荐评估中,SPANN 相比完全驻留内存的 HNSW,为生产查询节省超过 40% 的 CPU 时间。另一组测试里,SPANN 配合乘积量化(PQ)后,吞吐量达到 DiskANN 的 3 倍,延迟约为三分之一,代价是召回率下降 5%。
这条路线的看点不只是“换算法”,而是重新分配昂贵内存与便宜 SSD 的工作:用小型内存索引先定位分区,再从 SSD 读取候选。上述效果来自团队披露的特定数据与配置,材料未说明更广泛业务场景能否复现。