深度专题 FEATURES — 3
12GB显存跑出65 tok/s
为单一模型定制推理引擎,12GB消费卡生成速度升至65.1 tok/s,但仍需大量系统内存。
AMD显卡迎来INT8加速
llama.cpp打通RDNA3/4的INT8矩阵能力,7900 XTX提示处理最高快约27%。
少想六成,推理快近一倍
Swift 给推理模型治“想太多”:少写四至六成,实测耗时近乎减半。
速览 BRIEFS — 9
REPO
安全Python解释器用Rust重写
Pydantic用Rust打造极简Python沙箱,让Agent运行代码更快,也更容易管住权限。
REPO
Cloudflare把Agent工作台搬上边缘
Cloudflare开源边缘Agent工作台,让AI既懂公司资料,也能按需造小应用。
REPO
编码Agent有了原生控制平面
Zeron把多款编码Agent收进同一控制台,本地即用,也可跨设备接管。
REPO
Agent运行环境开始做分布式
AgentENV把智能体沙箱搬上集群,让大规模训练与评测不再挤在单机里。
REPO
Anthropic公开Agent Skills仓库
Anthropic公开Claude的Skills样板,让Agent能力如何封装、按需加载变得可观察。
REPO
纯C++扩散推理继续扩模型
纯 C++ 推理工具继续扩容,正把多种图像与视频模型装进同一本地入口。
NEWS
llama.cpp接入Ling 3.0视觉模型
124B级Ling 3.0视觉模型正接入llama.cpp,本地看图与视频理解再进一步。
REPO
本地Agent提醒中心聚合工作消息
Laya把工作通知交给本地模型整理,并把下一步做成待确认的任务卡。
NEWS
外接AMD卡连上Mac本地推理
开发者将R9700经雷电5接入Mac,为本地模型探索外接GPU路线。