你拍下一只杯子,想把它变成可以转动、编辑的 3D 素材。过去,这类工作往往需要专门的软件或更强的计算设备。开源应用 Modelr 想把流程压进苹果设备:导入图片、移除背景、生成三维形状,再给模型贴上纹理。更值得关注的是,作者还把它带到了 iPhone。不过,标题里的“不到 20 秒、不到 2GB 内存”目前没有对应实测,不能理解成手机已经能在 20 秒内完成整套图片转 3D。
本文数据全部来自项目作者在 Reddit 发布的自测及其项目说明,尚无独立信源交叉验证。
把混元 3D 搬进苹果的计算框架
图片转 3D,是从一张或少量二维图片估计物体的三维形状和外观。Modelr 背后的核心工作,是作者完成了 Hunyuan3D-Shape 和 Hunyuan3D-Paint 的 Swift-MLX、Python-MLX 移植。
这里的“移植”,可以理解为给模型换一套能在苹果设备上工作的运行方式。MLX 是苹果面向 Apple Silicon 推出的机器学习框架;Apple Silicon 则是苹果为 Mac、iPhone 等设备设计的芯片体系。模型只有适配相应的计算框架,才能更好地利用这些设备的处理器和统一内存。
两部分模型分工不同:Hunyuan3D-Shape 负责生成三维形状,Hunyuan3D-Paint 负责后续纹理化,也就是给几何模型补上外观。Modelr 把它们包装成一个独立应用。按作者描述,用户可以导入图片,用 SwiftVision 移除背景,观看形状逐步生成,再继续完成纹理处理。应用和模型权重均已开源,分别发布在 Modelr 与 Hunyuan3D-Swift 仓库中。
“20 秒”只覆盖了形状生成
作者给出的 FP16 测试来自 M4 Max。FP16 是用 16 位数字保存模型参数的一种方式。Hunyuan3D-Shape 的 small 版本耗时 20.9 秒,峰值内存约 5.6GB;large 版本耗时 22.3 秒,峰值内存约 7.3GB。
这已经是“20 秒级”,但还不是完整的图片转 3D。纹理阶段明显更慢:Hunyuan3D-Paint 的 RGB 路径耗时 231 秒,峰值内存约 38GB;另一条作者标为 PBR 的路径耗时 344 秒,峰值内存约 39GB。换句话说,20 秒左右的数据只对应几何形状生成,不能覆盖后面的纹理化流程。
标题中的“低于 2GB、低于 20 秒”也没有得到正文测试支持。作者确实表示,移植后的模型可以通过 Q4 或 Q8 量化在近期 Mac 乃至 iPhone 上运行。量化就是把模型参数大致压缩到 4 位或 8 位,以换取更低的内存和计算需求;通常位数越低越省资源,也越可能损失精度。但帖子没有给出 iPhone 的具体机型、速度、内存占用或输出质量,因此无法判断量化后是否真正达到标题数字。
真正的进展,是“能在端侧跑”
这项工作的意义,不在于已经证明手机能用 20 秒交付完整 3D 模型,而在于它把原本的 Hunyuan3D 生成流程接入了 Apple Silicon 的本地应用形态。所谓“端侧”,就是计算在用户自己的 Mac 或手机上完成,而不是把图片上传到远程服务器。
Modelr 已提供 macOS 版本,也提供作者明确称为“extremely limited”的 iOS 版本。它让“从图片到可旋转的简单 3D 素材”成为一个可以直接操作的应用流程,而不只是模型代码。作者提到的用途也很克制:例如为应用制作能够旋转展示的简单 3D 资产。
不过,作者声称 Modelr 是 Apple Silicon 上同类独立桌面应用中的唯一产品,也没有对照调查支撑。现阶段更稳妥的判断是:这是一次有意思的工程落地,展示了图片转 3D 模型进入消费设备的可能性,但距离证明手机端速度、内存与质量都足够实用,还有一段测试要补。
局限与未知
- 全部结果来自同一项目方,缺少第三方复现;M4 Max 的结果也不能直接外推到 iPhone。
- 作者没有披露完整硬件配置、输入样本、预热方式、量化参数和质量指标,Q4、Q8 的效果与代价仍不清楚。
- “不到 20 秒、不到 2GB”目前没有可核对的正文数据,完整纹理化仍需数分钟,并占用数十 GB 峰值内存。