你问设备“旧金山天气怎样”,它不只要听懂,还得选中天气工具,并把城市填进参数。这个过程叫函数调用——让模型按固定格式输出工具名和参数,是Agent把意图变成操作的关键一步。Needle把这项能力做成一个仅2600万参数的专用模型,目标是让手机、手表和眼镜也能在本地完成决策。
据项目作者介绍,Needle由Gemini 3.1蒸馏而来——也就是用更强模型提供示范,再让小模型模仿这项窄能力。它先用2000亿token预训练,再用20亿token的单次函数调用数据训练;权重和数据生成流程均已开放,也可在Mac或PC上微调。作者称其在Cactus上的prefill速度为每秒6000 token,decode为每秒1200 token,分别影响读入提示和逐词生成的速度。
作者还称,Needle在个人AI的单次函数调用测试中胜过若干更大模型,但也明确提醒:这些模型覆盖面更广,更擅长对话;小模型本身也可能不稳定,实际使用仍需针对自己的工具测试和微调。