想从两万多张截图里找出“头上戴着三角巾”的那一张,通常要先用 OCR 提取文字,再建立搜索索引。一项社区实验换了条更短的路:让约 330MB 的 Q8 量化版 EmbeddingGemma 2 直接理解查询和图片中文字的含义。嵌入模型会把文字或图片压成一串可比较的数字,再用余弦相似度衡量它们有多接近。
作者已索引 7 组共 22,448 张英、韩、日文混合截图。在展示的例子里,韩文查询“头上放着三角巾”与目标图的相似度为 0.71156;换成对应英文后降至 0.62414,且与下一候选图只差 0.00015。这说明小模型能做一定程度的跨语言语义匹配,但措辞会明显影响结果,甚至 blond 与 blonde 也可能造成差异。
更有意思的是,实验中图片里的文字有时比人物外观更能左右排序;加入“金发女孩”等视觉描述反而可能干扰搜索。作者强调测试只覆盖少数数据集,并不科学严谨。它暂时不是 OCR 的替代结论,却展示了一条低成本、本地运行的图片文字语义搜索路径。