深度专题 FEATURES — 2
摆脱闭源库,RK3588跑出10词每秒
开放推理引擎绕开 Rockchip 专有用户态库,让 RK3588 上的 Qwen3.5-4B 跑到约 10 token/s。
十年前的K80,重新跑动35B模型
纯 C 引擎让 2014 年的 Tesla K80 跑起 35B MoE,解码约 21 词元/秒。
速览 BRIEFS — 9
NEWS
Eagle-4挑战推测解码速度
EAGLE-4让草稿器随负载调整策略,Qwen3.8-27B首测最高提速2.99倍
NEWS
双3090把27B推到190词每秒
Geezuz 用双 RTX 3090 跑 27B 模型,零上下文单请求达 190 tok/s
REPO
编码Agent开始推崇“少写代码”
Ponytail 用一套工作约束让编码 Agent 少造代码、优先复用现成能力。
REPO
Git worktree有了Agent专用管家
Worktrunk用一组CLI命令打理Git工作树,让多个编码Agent并行改仓库时少互相干扰。
NEWS
190万参数也能克隆声音
Pocket TTS把声音克隆压到190万参数,端侧个性化语音再降门槛。
NEWS
Phonon把开放TTS塞进边缘设备
Phonon开放31M与40M轻量语音模型及推理栈,让端侧TTS多了一个跨平台选择。
NEWS
Agent压缩历史不再只靠摘要
REMORY让可学习记忆补写摘要遗漏的信息,用更短上下文减少Agent“越总结越健忘”。
NEWS
推测解码开始甩掉历史包袱
DLite让草稿模型不再背着整段历史,瞄准长对话与工具调用中的生成加速。
REPO
对象存储上也能长出图数据库
Omnigraph把分支、类型约束和混合检索搬进对象存储,为多 Agent 共享知识提供新路线。