深度专题 FEATURES — 3
一次会话跑一个月,靠什么压缩上下文
它用分层摘要、检索和按需解压,让有限窗口承载超长会话;亮眼数字背后,信息损失仍待验证。
247MB的1-bit模型,保住了多少能力
Boole-1.7B把权重压到247MB;亮点不只在小,更在于哪些能力留下、哪些先掉队。
英特尔用480GB内存争夺推理卡
英特尔D270不先拼显存速度,而以最高480GB容量押注大模型推理,路线取舍比峰值算力更值得看。
速览 BRIEFS — 9
REPO
Jcode用Rust重写编码Agent底座
Jcode用Rust重写编码Agent底座,主打更快启动与多会话低内存。
REPO
Meta悄然上线全模态Agent模型
Muse Wonder把文本、图像、影音和PDF装进同一个长程Agent
REPO
VoxCPM2绕过分词器做多语种TTS
VoxCPM2绕过语音分词器,直接生成连续声音,兼顾30种语言、声音设计与克隆。
NEWS
给推理GPU做一个命令行top
把推理 GPU 做成实时“top”,一眼找出最拖时间的计算环节。
NEWS
现成LLM也能兼任多模态嵌入模型
一个 vLLM 插件复用已加载大模型的内部表示,同时为文字和图片生成检索向量。
NEWS
EXL3量化模型开始原生跑QLoRA
EXL3 量化模型现可在 2—8 bpw 间直接跑 QLoRA,低显存本地微调多了一条灵活路径。
NEWS
BrokenML测试Agent能否修好训练任务
BrokenML把真实机器学习故障做成考题,测试Agent修复任务究竟需要多大权限。
NEWS
本地聊天前端把Agent、MCP和RAG打包
免安装的本地聊天前端,一站整合智能体、工具连接、知识检索与图像编辑。
REPO
离线知识服务器登上GitHub趋势榜
把百科、课程、地图和本地 AI 搬进自有服务器,断网也能查、能学、能用。