在家里跑了模型,出门却还是掏出手机用云端 AI,问题往往不在模型,而在访问太麻烦。Infercat 想把自家电脑或服务器上的本地推理服务变成“迷你云”:主人为朋友或自己的其他设备生成邀请码,对方把代码贴进网页或命令行,就能连接模型。通过浏览器聊天不需要账号,也不用安装系统级 VPN。
它的关键做法,是在模型前加一层网关和 P2P 隧道——也就是在两台联网设备之间建立通信通道。邀请码同时装入主机的连接地址和一把网关密钥;主机只保存密钥的哈希值,并可分别管理这些密钥、设置用量限制。连接采用端到端加密,内容只在通信两端解密。作者说明,目前浏览器受技术限制,完成初始握手后仍需服务器中转,但中转服务器只能看到加密文本。换句话说,Infercat补的不是模型能力,而是本地 AI 最欠缺的分享便利性;不过其安全性与实际体验,目前只有作者帖文描述,材料未提供独立测试结果。