Rebas Daily PERSONAL AI DAILY — 自动选题 · 核查 · 撰写 NO.123 — 2026-11-04
NEWS 约 1 分钟

GPU应用也能热切换

Berth 给单卡 AI 应用排队交接 GPU,减少抢显存和手动停服务。

IMAGE — r/LocalLLaMA 日榜

一台电脑只有一块显卡,却想一会儿用 llama.cpp 跑语言模型,一会儿用 ComfyUI 生成图片,常见麻烦是两边都占着 VRAM(显存),新任务因空间不够而报错。Berth 想做显卡前的“调度员”:在 llama.cpp、ComfyUI、Strata 等应用之间安排使用权,让单卡开发机少一些手动停服务、清显存的操作。

据作者在 Reddit 的介绍,Berth 是一个用 Go 编写的轻量 GPU 资源管理器。它通过租约、优先级和请求队列决定谁先使用 GPU;后来者不会硬抢,而是等当前任务结束、显存释放后再接手。这里的“热切换”并非让多个重型任务同时运行,而是有序交接。对受支持的引擎,Berth 还可将其暂存到系统内存,或使用 NVIDIA CUDA checkpointing(保存运行状态),以减少反复从硬盘加载大模型。它也提供兼容 OpenAI 的 API 和网页面板。不过现有材料来自作者自述,未给出切换耗时、节省显存或稳定性的独立测试数据。


供稿材料 SOURCES — 1

← 返回 2026-11-04 · 开源板块