Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.051 — 2026-08-24
NEWS 约 1 分钟

Gemma 12B工具调用提升2.7倍

一次面向工具调用的定向微调,让12B小模型更适合16GB显存下的本地Agent。

IMAGE — r/LocalLLaMA 日榜

你让本地 AI 帮忙改代码,它可能会讲一长串思路,却迟迟不肯打开文件或运行命令。TheOneWhoWil 针对这个痛点微调了 Gemma 4 12B:微调就是在已有模型上继续训练,让它更擅长特定任务;这里练的不是通用知识,而是工具调用和命令行操作。工具调用指模型按格式写出工具名称和参数,再由外部程序真正执行。

作者称,这次微调把工具调用表现提升到原来的 2.7 倍,同时让模型尝试发出工具调用的次数增加 15.7%。这对本地 Agent——能查看项目、调用终端并反复修正的 AI——尤其值得注意:12B 规模更贴近 16GB VRAM(显卡高速显存)设备的承载范围。作者已提供 fp16 到 Q4_K_M 的权重,可配合 llama.cpp 或 Ollama 使用。不过,供稿未披露 2.7 倍提升所用的评测集、指标和对照设置,这一效果目前应视为作者自述。


供稿材料 SOURCES — 1

← 返回 2026-08-24 · 开源板块