给同一个本地模型换不同能力，原本像给相机换镜头：不用再下载一整台“新相机”，却可能因为附件拖慢运行。LoRA（Low-Rank Adaptation）就是这种可拆卸附件——它用少量增量参数改变底模的任务能力或风格。热切换则指服务不停机、底模不重载，直接更换 LoRA，适合一台机器连续扮演多种角色。
问题在于，小文件不等于低开销。开发者 woct0rdho 称，在 Strix Halo 上为 Qwen3.8-Flash-Next 挂载一个仅 35 MB、只影响少数模块的 LoRA 后，提示词处理速度从约 1500 降至 300 tokens/s。加入通用 LoRA 推理内核——实际执行矩阵运算的底层程序——后，速度回升至约 1000 tokens/s；进一步使用融合内核，则达到约 1400 tokens/s。
这让 LoRA 更接近“随用随换”的轻量附件，而不是明显拖慢底模的负担。不过，这些结果来自开发者自述，目前主要针对 Strix Halo 优化，代码尚未合入 llama.cpp 主线，移植到其他 GPU 的效果也未披露。