换了传感器或数据系统,旧模型常会突然“没法用”:它只认原来的输入字段,内部参数又看不到。比如旧模型看消费记录,新系统只有浏览行为,即使旧模型学到过有用规律,也无法直接接收新数据。Kwon 与 Ham 的这项工作,讨论的正是如何在字段不一致、模型又是黑盒——只能输入规定字段并取得预测——时继续迁移知识。
方法最关键的一步,不是猜出缺失的旧字段再塞给黑盒,而是直接把黑盒的预测“翻译”到新字段上。研究者先用大量无需人工标注的成对数据,也就是同一对象的新旧两套字段,学习新字段与黑盒输出之间的关系;再用少量带真实答案的数据,补上新字段独有、旧模型无法提供的信息。两步都使用 ReLU 神经网络——一种常见的非线性函数拟合工具。
作者给出的理论结果称:当旧模型未覆盖的部分较小,或这部分较平滑、较容易学习时,该方法的预测风险可优于只靠新数据标签从头训练;在附加条件下,优势还能达到更低的多项式阶。不过,这些结论依赖论文设定的条件,不能理解为换任意字段都能无损迁移。