你让本地 AI 帮忙改代码,它可能会讲一长串思路,却迟迟不肯打开文件或运行命令。TheOneWhoWil 针对这个痛点微调了 Gemma 4 12B:微调就是在已有模型上继续训练,让它更擅长特定任务;这里练的不是通用知识,而是工具调用和命令行操作。工具调用指模型按格式写出工具名称和参数,再由外部程序真正执行。
作者称,这次微调把工具调用表现提升到原来的 2.7 倍,同时让模型尝试发出工具调用的次数增加 15.7%。这对本地 Agent——能查看项目、调用终端并反复修正的 AI——尤其值得注意:12B 规模更贴近 16GB VRAM(显卡高速显存)设备的承载范围。作者已提供 fp16 到 Q4_K_M 的权重,可配合 llama.cpp 或 Ollama 使用。不过,供稿未披露 2.7 倍提升所用的评测集、指标和对照设置,这一效果目前应视为作者自述。