和语音助手聊天,最尴尬的常常不是答错,而是你说完后,它沉默着“想”很久。ConvFill 的思路是把接话和回答拆开:约六亿参数的 0.6B 小模型先迅速开口,填补等待时间;与此同时,更大的推理模型准备真正的答复,再把内容交给小模型继续说。它像临时主持人先稳住场面,等耳机里的专家递来提词。
这项工作的看点不在于让小模型独自变聪明,而是让它用大模型提供的“提词条”维持一段自然对话。据介绍,ConvFill 由 University of Washington UbiComp Lab 的学生开发。分享者 futterneid 试用后认为核心思路已经成立,但也指出,小模型本身还需更聪明,整体体验才可能真正自然。现有材料未提供延迟缩短或回答质量提升的量化结果,因此它目前更像一个值得关注的架构方向,而非已被充分验证的解决方案。