把深层模型想成一场层层传话:只有一条通道时,信息容易在途中被挤压;多开几条路,可能让不同线索保留得更充分。10月25日,本刊曾记录两个仓库出现“Qwen4.0-Max”和“Qwen4-27B”的适配痕迹。如今,同一未发布模型又浮出一条疑似架构线索。
Reddit 用户 Ok-Shower7286 称,其看到 vllm-xpu-kernels 中一则随后变成 404 的 PR——即开发者申请合入代码的公开记录。该改动疑似显示,Qwen4-27B 采用四路并行残差流:模型在层与层之间,不再只用一条路径传递内部信息,而是让四条路径并行流动。这里的“四路”不代表同时生成四个答案;27B 则通常指约270亿个可学习参数。发帖者推测,这种设计意在固定参数规模下改善信息流和表示密度。
不过,原始 PR 已无法访问,材料也没有提供代码细节、测试结果或官方说明。它为此前的仓库痕迹补上了一块拼图,但仍只是发布前线索,不能视为 Qwen4 架构已经确认。