让一个 AI 同时请“代码专家”和“视觉专家”帮忙,像在小书桌上轮换几套厚重工具书:GPU 显存有限,放不下所有模型,临时搬运又会让计算停下来等。JointServe 解决的正是这个问题。它面向由规划模型调用多个专家模型的智能体,让多套模型在一张显存受限的 GPU 上协作。
它的关键不是简单地把整套模型搬进搬出,而是把模型权重——模型学到的长期能力——和 KV Cache——保存会话中间状态、避免重复计算的缓存——都切成小块,放进同一个显存预算里调度。规划模型在输出调用目标时,系统就提前搬运所需权重;每个模型还会常驻一部分权重,因此切换时只补齐缺少的部分。同时,它为活跃会话的缓存搬运保留带宽,减少模型切回来后的重算。
作者报告,在显存紧张的设置下,JointServe 相比最强的整模型换入换出基线,将任务完整跑完的时间缩短了 21.7%;在回放的智能体任务轨迹中,最高缩短 49%。这些结果来自论文作者的原型与实验,说明单卡部署多模型智能体时,真正需要统筹的不只是“放哪个模型”,而是哪些权重和会话状态值得此刻留在显存里。