Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.005 — 2026-07-09
NEWS 约 1 分钟

Antidoom专治推理模型的死循环

Antidoom用偏好训练压低重复倾向,让推理模型自己跳出“死循环”。

你让推理模型解一道难题,它有时会像卡住的唱片,反复念同一段思路,却始终到不了答案。这就是“doom loop”:上下文里的重复会强化下一次重复。Liquid AI 于 2026 年 7 月开源 Antidoom,试图从模型内部压低这种倾向,而不是等输出失控后再强行截断。

据 Liquid AI 官方博客,Antidoom 先用低温度生成容易卡住的回答,再找出循环首次出现的位置:至少 60 个字符的内容重复四次,就算一次循环。它随后用 FTPO 偏好训练,只调整生成末端的关键选择——告诉模型哪个 token(可理解为生成文字时的一小块单位)不该选,并提供多个替代选项,同时尽量不扰动其他能力。训练通常通过 LoRA——只更新少量附加参数的轻量微调——完成一个 epoch,并提前停止,因为官方称训练过久反而可能制造新循环。

在自建推理提示测试中,Liquid AI 报告 Qwen3.5-4B 使用 greedy sampling(每一步都选概率最高的 token)时,循环率从 22.9% 降至 1%。这个数字不是通用生产流量成绩,但它说明了一点:重复失控未必只能靠规则拦截,也可以用一次很克制的行为校正来修复。


供稿材料 SOURCES — 1

← 返回 2026-07-09 · 开源板块