模型处理“the”和罕见人名时，往往花同样的算力和显存，就像给每封邮件都安排同规格的审阅。TriRoute想改变这种平均用力：它用一个轻量控制器，在每一层为每个词元联合决定三件事——注意力看多少上文、调用哪些专家子网络，以及用多少位保存KV Cache（模型留给后文查询的中间结果）。
关键不只是把三种省资源技巧拼起来，而是让它们互相配合。比如罕见姓氏“Nakamura”即使不需要复杂的专家计算，也可能值得完整查看上下文，并以较高精度留在缓存中；常见功能词则可以少花资源。作者还发现，简单联合训练会出现连锁“路由坍塌”：一项选择趋于单一后，另外两项也失去区分词元的能力，因此加入跨轴平衡机制，并用一个预算参数统一约束计算与内存。作者自述，在1.6亿至13亿参数模型上，相同推理算力和内存下，TriRoute优于分别调校三项机制的组合；原文未在所给材料中列出具体提升幅度。