Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.112 — 2026-10-24
NEWS 约 1 分钟

4B决策模型声称20毫秒作答

Mica v0.5把4B模型做成快速“裁判”,作者称单次决策约20毫秒。

IMAGE — r/LocalLLaMA 日榜

让 AI 决定“该调用哪个工具”,通常不需要它写一篇长文,只要迅速选对即可。Mica v0.5正是为此设计的4B决策模型——读取问题和候选项后,直接给出选择、排序或分数。作者称,它在单张 RTX 6000 Ada 上处理256个 token(模型读取文本的基本单位)时,每次决策耗时19.8毫秒;输入增至32k token,耗时约1.2秒。

这个方向值得关注,因为路由请求、筛选工具和评价候选答案都是高频环节,几十毫秒的差距会不断累积。Mica还能充当 Judge model,也就是给其他模型答案打分的“自动裁判”。作者报告,它在 JevBench Hard 获得84/111,并称这是其找到的4B模型中最好成绩;打乱选项后,97.3%的情况下仍会选择同一答案。不过,这些速度和准确率目前都来自作者自测,且延迟会受显卡、输入长度和软件栈影响,仍需独立复测。


供稿材料 SOURCES — 1

← 返回 2026-10-24 · 开源板块