想让电脑或边缘设备上的 AI 助手快速回应、连续调用工具,又不挤占太多内存,往往很难兼顾。英伟达推出的 NVIDIA-Nemotron-3.5-Bolt-E4B-4GB,正是为这类场景准备的小语言模型(SLM,即参数量和运行成本较小的模型):它从 Gemma-4-E4B-it 继续做后训练——在已有模型上针对特定能力再训练,并把运行显存门槛压到 4GB。
据模型页面介绍,这次强化集中在多轮工具调用、指令遵循和输入依据约束,目标场景包括本地语音助手、设备助手和嵌入式界面。它还强调低 TTFT——用户发出请求后,模型吐出第一个 token 的等待时间较短,并为应用程序或相邻模型留出内存空间。若要进一步提速,英伟达提供了配套的 DFlash 草稿模型,用推测解码先猜一批候选 token,再交给主模型验证。至于实际速度、能力提升幅度和不同硬件上的表现,现有供稿未给出测试数字,仍需看后续实测。