你让 AI 一边读完整个代码仓库，一边查日志、改程序、运行工具，它可能做得不错，却也可能越来越慢，或者读到后面忘了前面。Nemotron 3.5 想解决的正是这笔账：怎样让模型处理更长、更复杂的任务，同时控制每次计算和部署成本。
NVIDIA 团队给出的方案不是押注一种架构，而是把三种路线合在一起：用 Mixture-of-Experts（MoE，专家混合）减少每次实际参与计算的参数，用 Mamba 更经济地处理长序列，再保留 Transformer 擅长联系远处信息的注意力机制。论文发布了两个版本：Nemotron 3.5 Super 是总参数 120B、每次激活 12B 参数的多模态模型；Lightning 是总参数 30B、激活 3B 参数的文本模型。下文数字均来自 NVIDIA 团队的同一篇论文，尚无第三方评测或复现实验交叉验证。
三种架构，各算一部分账
MoE 可以理解成一家拥有很多专科医生的医院。医院规模很大，但每位病人只找少数相关科室，因此“总参数”不等于每次都要计算的参数。Super 虽有 120B 参数，一次推理只激活 12B；Lightning 则是 30B 总参数、3B 激活参数。
Mamba 负责另一类成本。Transformer 的注意力机制会比较序列中不同位置的关系，善于让模型直接回看远处内容，但输入越长，计算和缓存压力越大。Mamba 会把读过的信息逐步压进一个不断更新的内部状态，像边读边整理摘要，处理长序列时开销增长得更温和。混合架构的赌注因此很清楚：让 Mamba 扛起长程阅读的日常工作，在需要精确联系上下文时保留 Transformer，再由 MoE 控制每一步真正动用多少模型。
两款模型都经过大规模蒸馏——让较小的“学生”模仿更强“教师”的输出分布——以及长上下文训练。论文称，两者各用下一档更大的 Nemotron 模型作教师，完成了 1 万亿 token 的蒸馏；token 是模型处理文字时切分出的基本单位。Super 随后用 350 亿 token 把上下文扩展到 100 万 token，Lightning 的对应训练量为 210 亿 token。
不只读得长，还要把活干完
长上下文只是基础。智能体任务要求模型连续使用工具、读代码、看运行结果，再决定下一步。为此，Super 增加了 654 亿 token 的软件工程中训。中训位于通用预训练和最终任务训练之间，材料包括完整代码仓库、issue 与 pull request、提交历史、构建及持续集成日志，以及少量智能体操作轨迹。
这一步带来的变化不完全体现在常规平均分上。论文用相同的实验性监督微调比较中训前后模型：DeepSWE 的 pass@1 从 6.4%升至 10.4%；在 Codex 智能体框架下，SWE-bench Verified 从 48.4%升至 61.8%。这说明中训更像是在补“换一套工作台还能不能干活”的适应性。不过，同一实验中，SWE-bench Pro 从 52.1%小幅降至 51.7%，并非所有指标都同步上升。
代价也很具体。软件工程中训使用 256K 上下文后，RULER-1M 长上下文成绩从 79.9降到 33.5。团队又追加 90 亿 token 的恢复训练，把它拉回 81.0。换句话说，训练模型专注一种长任务，可能损伤另一种长文本能力；混合架构并没有消除能力之间的拉扯。
Super 还加入了印度语言继续预训练：1000 亿 token 中，100 亿来自合成及自然 Indic 数据，其余 900 亿沿用此前的数据配比。五项印度语言基准均有提升，增幅为 4.98至 9.82个百分点。团队也通过两阶段监督微调、可验证奖励强化学习（RLVR）、人类反馈强化学习（RLHF）和多教师在策略蒸馏，把原本只处理文本的基础模型变成可处理文本、图像、视频和交互式工具环境的多模态智能体。
生成速度也被写进模型里
两款模型原生支持 speculative decoding（推测解码）：先让一个较轻的“草稿员”一次猜多个后续 token，再由主模型批量核验，猜对就能少走几轮逐字生成。这里的草稿员是 MTP（Multi-Token Prediction，多 token 预测）模块。Super 还在训练时混合真实与草稿生成的内部状态，让它提前适应实际推理中的误差累积。
后训练阶段的 MTP boosting 在 SPEED-Bench 上把概率采样条件下的平均接受长度从 3.787提高到 4.612，即提升最多 21.8%。接受长度越长，意味着主模型一次能认可更多草稿，但这只是特定设置下的最佳结果。
部署端还用了 NVFP4 量化——用更低精度表示模型权重和中间数据，以减少存储及计算。论文称，量化版 Super 在 36项基准上的中位准确率恢复率达到 BF16 版本的 99.62%；这是跨指标的中位数，不代表每项任务都保留 99.62%的表现。在论文测试的交互式负载下，NVFP4 吞吐量为 BF16 的 2.43倍。
为什么这笔效率账值得看
最能代表这一路线的，不是某个单项冠军，而是能力与成本被放在同一张表上。后训练版 Super 在 SWE-bench Pro 得到 51.78%，论文称它超过 Nemotron 3 Ultra，同时激活参数约少 4.6倍。团队还测试了并行运行多个智能体并让结果相互验证：Terminal-Bench 2.1 从 62.7%升至 71.9%，DeepSWE 从 24.6%升至 34.5%。这类“测试时扩展”用更多并行尝试换取更高成功率，也提醒我们，模型参数少不等于整个任务一定便宜。
在单张 GB200 GPU、20轮智能体代理负载上，团队报告最高每 GPU 每秒输出 4,856 token，同时保证每位用户至少每秒 50 token。这个数字说明 NVIDIA 优化的不只是模型训练，也包括缓存、量化和 GPU kernel；但它不能脱离并发量、输入输出长度及精度配置，直接当作所有部署环境的速度。
局限与未知
- 所有效果均来自 NVIDIA 团队自己的论文。SWE-bench 等比较还需统一评测版本、智能体框架、推理预算、并行执行和自我验证设置，才能确认是否公平。
- 论文把模型称为“开放”，并称会发布基础版、BF16 后训练版、NVFP4 量化版、推测解码器及训练资料；现有材料没有交代具体许可和权重开放边界。
- 多个醒目数字是“最高”或特定负载下的结果。真正的效率仍取决于硬件、上下文长度、并发、量化配置，以及为提高成功率启动了多少个并行智能体。