手术中拍到的X光像一张压扁的地图:骨骼、血管等结构叠在平面上,医生却要判断它们在三维人体里的位置。xvr瞄准的正是这道二维—三维配准难题——把术中X光与患者术前的CT或MRI严丝合缝地对齐,为影像导航和手术机器人提供坐标。
它最值得注意的一步,是不用人工逐张标注答案。xvr从患者自己的术前三维扫描出发,用物理模拟生成训练影像,再让患者专属神经网络自监督学习——也就是从自动生成的数据中获得训练信号。团队先用数千份全身扫描预训练基础模型,再针对当前患者微调;作者称,这一步只需5分钟,之后可在数秒内处理不同身体部位、三维成像方式和医院的真实透视X光。
作者称,在其所知规模最大的真实透视影像评测中,xvr的准确度较现有方法提高了一个数量级,并已开放源码。不过,现有材料未披露具体误差值,也不足以判断它在各类临床流程中的实际收益。