你让一个小模型操作电脑,它有时成功、有时失败,未必是“脑子”忽然变笨,也可能只是终端返回的信息换了个样子。作者 HauntingMoment 用 Qwen3.5-9B 测试多种 Agent harness——连接模型、终端和测试任务的运行框架——发现一个只提供 IPython 的极简方案,也能在 Terminal-Bench Lite 这一终端任务测试集上追平 QwenCode、OpenHands 等更重的生产级框架。
更值得注意的是波动来源。作者用 20 次重复、3 个任务观察到,同一任务的通过率会明显摇摆;即使温度设为 0,也没有完全稳定。改进 IPython 环境、空结果处理和提示词后,表现与单次成本已有提升,但真正压低波动的关键,据作者自述,是“工具输出规范化”——把速度、进度等容易变化的回显整理成稳定格式,减少模型被无关差异带偏。
这提示了一种朴素的工程判断:对小型本地模型而言,复杂编排未必比干净、统一的反馈更重要。不过现有材料只覆盖少量任务与重复实验,也未披露完整分数,结论仍适合视作一条值得复测的线索。