你有一万亿张问卷，想知道人们的消费选择主要受哪些因素影响。最稳妥的办法似乎是全部读完。但如果读到第一百亿张时，主要结论已经不再变化，继续处理剩下的数据，就可能只是花更多时间和机器成本，换来肉眼难辨的改进。
这正是 Mike Crowhurst 在一篇 2026 年 8 月提交至 arXiv 的研究中追问的问题：面对百亿乃至万亿条观测，主成分分析（Principal Component Analysis，PCA）还需要全量计算吗？
PCA 是一种寻找数据主要结构的方法。它把许多彼此相关的变量，压缩成少数几个互相垂直的“综合方向”。第一个方向尽量保留最多变异，后续方向再解释剩余变化。人们常用它做降维、可视化，或者寻找藏在大量变量背后的共同因素。
论文给出的信号很明确：在它测试的随机数据中，百亿条和一万亿条观测产生了近乎相同的 PCA 解。作者因此提出，超大样本下的 PCA 可能早在万亿规模之前就已达到“实际收敛”。不过，这项结论目前只来自该论文，且公开材料没有给出关键的工程与量化细节。它更像一个值得验证的工程判断，而不是“万亿行数据一律不用全跑”的通行证。
多看九十九倍，结构却几乎没变
PCA 寻找的不是每一行记录本身，而是变量之间共同变化的规律，也就是协方差结构。行数越多，通常越容易把这种结构估计稳定。但数据不会白白变多：读盘、计算和存储中间结果的成本也会随之上升。
这项研究分析了三个数据集：一个包含 100 亿条观测的随机数据集，一个包含 1 万亿条观测的随机数据集，以及一个包含 100 亿条观测、预先植入三个潜在因子的工程化数据集。
所谓潜在因子，是不能直接看到、却会同时影响多个变量的共同因素。可以把它想成幕后调音台上的旋钮：听众只能听到各个声部的变化，PCA 则试图从这些变化反推出究竟有几个主要旋钮在起作用。
论文报告称，100 亿与 1 万亿观测的两个随机数据集得到了“近乎相同”的 PCA 解。换句话说，数据量扩大到原来的 100 倍，主要方向没有随之发生明显变化。作者把这视为 PCA 在极大样本下具有较强稳定性的证据。
真正关键的工程含义不在于“万亿也能算”，而在于另一件事：如果百亿条记录已经给出与万亿条记录近似的结构，那么处理后面绝大多数记录，统计收益可能已经很小。
这符合抽样误差的一般直觉。抽样误差，是只看总体的一部分时，结果会因为恰好抽到哪些记录而出现波动。样本从很小增加到足够大时，这种波动通常会明显下降；样本已经极大后，再增加记录带来的稳定性提升往往越来越有限。
它不只要稳定，还要找对东西
两个随机数据集结果接近，只能说明解看起来稳定，不能单独证明 PCA 找到了有意义的结构。为此，研究还使用了一个人为构造的数据集，其中预设了三个潜在因子。
结果中出现了三个占主导地位的主成分，合计解释 99.996% 的总标准化方差。这里的“解释方差”，可以理解为这些主成分保留了原始数据中多少变化。论文称，PCA 也成功恢复了预先设置的三个潜在因子结构。
这个实验回答的是一个相对受控的问题：当研究者事先知道数据里埋了三个主要因素时，PCA 能不能把它们重新找出来。按照论文报告，答案是可以，而且几乎全部标准化方差都集中在这三个方向上。
但这个漂亮数字要谨慎看。99.996% 来自人为植入三个潜在因子的工程化数据。它证明该设置下的结构非常集中，也证明 PCA 在该实验中认出了预设结构，却不能直接推出真实业务数据也会如此整齐。现实中的信号可能更弱、更分散，少数记录还可能携带重要但罕见的信息。
真正值得试的是“先看一部分”
这篇论文最值得关注的地方，不是刷新了 PCA 的数据行数纪录，而是把统计收益与全量计算成本之间的矛盾摆到了台前。
作者认为，PCA 解在超大样本下会迅速稳定，实际收敛可能远早于样本量达到万亿级时发生。如果这个判断能在更多数据分布中成立，工程团队就不必默认把全部记录送进 PCA。更现实的路线是先取一部分数据，检查主成分是否已经稳定，再决定是否继续扩大样本。
这也解释了随机化 PCA 的吸引力。随机化 PCA 是用抽样或随机投影，近似找出最重要的主成分，从而避免对巨型矩阵做完整分解。它本质上是在做一笔交易：承担少量精度风险，换取显著的计算节省。
论文摘要提到遥感、数字地图和环境建模等应用方向。作者的推断是，这些领域常有数百万或数十亿条观测，因此可能从“提前收敛”中获益。不过，公开材料没有提供这些真实场景的实验，这部分仍属于应用外推。
所以，标题里的问题不能简单回答成“无需全量跑”。更可靠的说法是：到了百亿、万亿规模，全量计算不应再是未经检验的默认选项。团队更该先问，主成分在多大样本上已经稳定，以及抽样是否漏掉了自己真正关心的结构。
局限与未知
- 论文公开材料没有披露数据生成过程、变量维度、PCA 实现、数值精度、硬件、运行时间、内存占用，也没有给出不同抽样规模之间的系统对照。因此暂时无法计算少读多少数据能节省多少成本。
- “近乎相同”“较强稳定性”和“实际收敛”都缺少量化判据。我们不知道两个 PCA 解具体相差多少，也不知道作者以什么阈值判断结果已经足够稳定。
- 随机数据和人为植入三个因子的工程化数据，不能代表所有真实分布。稀有结构、异常记录或随时间发生的分布漂移，都可能让抽样结果与全量结果出现更大差异。
这项研究没有终结“该抽多少”的问题，但它把默认思路倒了过来：面对一万亿行数据，首先要证明的或许不再是抽样够不够，而是全量计算究竟还能带来多少新信息。