给 AI 服务器调参数,像给汽车选驾驶模式:提速、节能和稳定表现往往不能同时拉满。Nada Zine 等人系统测试了 vLLM——负责安排请求、管理显存并加速生成的大模型服务引擎——的三类配置,并把能耗、响应延迟和答案准确率放在一起比较。
研究覆盖 5 个开放权重模型和 5 类任务。作者发现,注意力计算内核——模型判断上下文重点时采用的芯片计算实现——与前缀缓存影响最明显;后者会重复利用多个请求共有的开头,省去重算。分块预填充,即把长输入切块读取,在默认服务配置和本次负载下影响有限。更值得注意的是,这些看似只管运行效率的选项,连准确率也可能改变。
结论不是某套参数胜出:模型选择决定整体取舍,vLLM 调参只能在局部继续优化,而且效果随模型和任务变化。说白了,部署者不能只盯吞吐或电费,答案质量也在同一张账单上。