像给多桌客人上菜：如果只盯着每一道菜是否方便做，厨房可能挤在少数灶台，其他灶台却闲着。Agent也会连续请求模型，而且前一步完成后才能发出下一步。SMetric因此主张按会话算账——把完成同一任务的一串相互依赖请求视为整体，而不是逐次排队。
关键做法很简单：每个会话的首个请求只按负载分配，让整段会话均匀落到不同计算实例；后续请求则优先回到原实例，复用KV cache——模型保存的中间计算结果，避免重复处理上下文。论文分析Bailian生产轨迹称，Agent请求中超过80%的输入词元可复用，高于聊天场景的54%—62%；一味追逐缓存反而会让少数实例过载。作者报告，SMetric在两类部署方式下分别将集群TPS（每秒处理的词元数）提高10%—16%，以及将预填充阶段TPS提高2%—34%，同时改善延迟。结果来自论文自述，摘要未提供独立复现信息。