你想让 AI 一次读完一整个代码库，硬件往往先扛不住。模型每多记一段内容，都要付出更多内存和计算成本。所谓“百万上下文”，就是一次最多接收约一百万个 token——可以粗略理解为文本被切开后的基本单位。它能装下更多代码和文档，但“窗口开得出来”与“真的装满后还能准确工作”，并不是一回事。
最近三位 Reddit 用户分别在 RTX 5090、RTX 3090 加 128GB DDR4，以及 128GB M5 Max MacBook 上运行了 DeepSeek V4 Flash 的 GGUF 量化版。GGUF 是 llama.cpp 生态常用的本地模型文件格式；量化则是用更少的数字位数保存模型权重，以节省内存，代价可能是能力下降。这些结果共同说明，本地运行超大模型的硬件边界正在外移。不过，三份材料都是玩家自测，缺少官方公告或可复现实验记录的交叉确认。
5090 打开了百万窗口，但还没坐满人
用户 Shoddy_Bed3240 使用 RTX 5090、llama.cpp 和 DeepSeek-V4-Flash-UD-Q8_K_XL，把 --ctx-size 设为 1048576，也就是声明一个约百万 token 的上下文窗口。其报告的预填充速度约为每秒 650—700 token，生成速度约为每秒 17 token，模型加载约需 32 秒。
“预填充”是模型先把整段输入读进去的过程；“生成速度”则是开始回答后，每秒吐出多少 token。前者决定长材料要等多久，后者更接近日常聊天的体感。
这组数字很醒目，但目前只能证明服务以百万上下文参数启动。材料没有展示实际填满百万 token 后成功生成，也没有给出内存占用、长上下文准确率或压力测试。完整 CPU、系统内存等条件同样缺失。因此，“5090 已验证跑通百万上下文”还说得太早。
3090 的意义，是旧硬件也能进场
另一位用户 CoplanarDimension 使用 RTX 3090 24GB、Ryzen 5950X 和 128GB DDR4，测试两种更低比特的量化版本。冷启动时，IQ3_XXS-AS 的输入处理速度为 262.66 tok/s，生成速度为 11.42 tok/s；IQ2_S 分别达到 280.84 tok/s 和 13.50 tok/s。
两次测试的输入长度、生成长度和量化方式并不相同，不能据此简单断言 IQ2_S 全面更快或更好。更稳妥的结论是：配合大量系统内存，一张 RTX 3090 也能把 DeepSeek V4 Flash 跑到每秒十余 token。这里并非只靠显卡，128GB DDR4 是配置的重要部分。
该用户还确认，llama.cpp 主线版本 b10064 已能运行其测试的相关 GGUF，原先专用的 fairydreaming/dsv4 分支不再是这套配置的必要条件。但这只是对特定模型、量化文件和构建版本的验证。
MacBook 对上两台 DGX Spark，最值得看的是“差得不多”
用户 anvarazizov 在 Terminal-Bench 2.1 上比较了一台 128GB M5 Max MacBook 与两台 DGX Spark。Terminal-Bench 会让 AI Agent——能够操作工具完成任务的 AI 系统——进入真实终端环境干活，再检查结果是否合格。
MacBook 运行约 80.8 GiB 的混合量化 GGUF，整体平均约为每个权重 2.45 bits；敏感张量仍保留 Q8、F16 或 F32 等更高精度。它在一次测试中完成评分的 87 题里通过 47 题，约为 54%。两台 DGX Spark 使用原生混合 FP8/FP4 版本，在完成评分的 86 题里通过 45 题，约为 52%。双方共同完成评分的 86 题中，66 题结果一致；其余题目为 Mac 版胜 11 题、Spark 版胜 9 题。
这不是“MacBook 击败 DGX Spark”的严格实验。两边同时更换了量化方式、运行时、上下文上限、KV 格式和推测解码设置，评分分母也不同。作者明确表示，这只是单次端到端运行，不能证明约 2-bit 量化没有能力损失。真正有意思的是：压缩如此激进之后，两套系统在这次实际任务测试中的差距仍然很小。
为什么值得现在看
本刊 7 月 11 日曾介绍 DeepSeek V4 Flash 的单卡压缩方案、llama.cpp 修复及证据限制。现在新增的三组配置把问题推进了一步：讨论不再只是“能否加载”，而是开始触及长上下文参数、可用生成速度和终端任务表现。
消费级 NVIDIA 配置报告的生成速度落在约 11—17 tok/s。MacBook 的结果则提示，统一内存设备配合激进量化，也可能承载过去更像服务器任务的模型。硬件门槛确实在变化，只是功劳不能单独归给某张显卡：量化、系统内存、运行时和缓存设置都参与了结果。
局限与未知
- 百万上下文目前只是启动配置，尚无填满窗口后的生成、准确率与资源占用证据。
- 三组数据均来自不同 Reddit 用户自测，测试条件差异很大，速度不能直接横向排名。
- MacBook 与 DGX Spark 只运行一次，且并非单变量对照；54% 对 52% 只能视为线索，不能视为硬件胜负结论。