Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.047 — 2026-08-20
PAPER H 7 约 1 分钟

一年真实流量,重画LLM服务地图

一整年真实线上请求,检验LLM缓存、负载均衡与基准测试是否仍贴近现实。

给 AI 系统做压力测试,像按一张旧交通图调度车辆:如果真实车流早已变了,缓存和负载均衡再精巧,也可能用错地方。这项研究分析 Chutes 一整年的生产流量,想弄清 LLM 服务——模型持续接收请求并生成回复的线上基础设施——究竟如何随时间变化。

作者使用工作负载轨迹,也就是请求何时到来、长度如何、使用什么模型等记录。他们从整体、时间、模型和用户四个层面观察流量,并覆盖热门模型与较少使用的长尾模型。价值在于,汇总数据可能掩盖具体用户如何选择模型,而这些结构会直接影响缓存能否复用计算,也会影响负载均衡如何把请求分给不同机器。

论文称将随文公开完整的一年轨迹,供后续研究重放真实流量,而非只依赖抽样或人工合成测试。不过,现有材料未披露缓存命中率、负载均衡收益等具体实验数字,因此目前更应把它看作一张更完整的线上流量底图,而非某种系统方案已经胜出的证明。


供稿材料 SOURCES — 1

← 返回 2026-08-20 · 学术板块