一份 52 页的文档,不上传云端,手机能不能自己找出相关内容并回答问题?KernelAI 开发者在 Reddit 展示了一次 iPhone 16 本地文档抽取:手机同时运行 Arctic Embed 和 Bonsai 8B,前者是嵌入模型——把文字变成可比较的数字表示,从长文档里筛出相关段落;后者是约 80 亿参数规模的生成模型,负责根据这些段落处理问题。
这套流程属于端侧 RAG——先检索资料,再让模型依据检索结果生成答案。它的意义不只是“手机跑了一个模型”,而是检索模型、生成模型和 52 页文档都留在设备上,开始触及真正有用的离线任务。作者还称 KernelAI v2 支持文档抽取、网页搜索和导入自有模型;不过目前材料只有作者发布的演示,未披露抽取准确率、耗时、内存占用或功耗,也没有独立测试。