像是老师不出数字题,只让学生照抄一堆“雪花屏”上的答案,学生最后却学会了认数字。据 Towards Data Science 转述,一项小型 NumPy 复现实验展示了这种“潜意识学习”:学生网络没看真实手写数字或标签,只模仿教师面对随机噪声时产生的辅助输出,之后却能在 MNIST——经典的 0 到 9 手写数字数据集——上完成分类。
关键条件是“共享初始化”,也就是师生从完全相同的初始参数出发。此时,教师在噪声输出中留下的细微变化,能与学生内部同一组特征方向对齐。报道给出的训练轨迹显示,约 234 步时学生平均准确率达到 43.4%,第 468 步首次超过 50%。更反直觉的是,用于数字分类的输出层始终没有训练,变化发生在底层表示中。
控制实验也划出了边界:学生换用不同初始权重后,表现接近随机猜测;教师若用打乱的数字标签训练,学生同样学不会。它不是证明“噪声本身含有数字”,而是提醒我们:训练数据看似毫无意义,教师输出仍可能携带肉眼看不见的任务结构。