作者:bayes
编译:Felix, PANews
围绕 AI 算法的指数级跃迁、智能供应链的商品化以及机器人的爆发,本文系统梳理了关于近期未来的 46 个核心洞察。
智能
1.人们会对算法的进步感到措手不及。整个世界,包括市场、政府、军队、公司、个人等,都在试图用最近过去的生产效率和规律,以及事情的发展趋势,去理解 AI 及其影响。甚至几个自称深信“RSI(递归自我改进)”的创新实验室似乎也认为,这将是一如既往的商业模式,只是加入了智能体(Agent)。个人的猜测是,在智能生产方面,算法还有许多个数量级 (OOMs) 的进步空间,也许(仅仅是也许)多达 10 个,但 4 到 7 个似乎更符合现实。理论上,超过十个也是有可能的。如果这是真的,那么事情实际上并没有像表面看起来那样发展,一个巨大的飞跃即将到来。沿着这条路线发生的任何事情,都会让事情变得比几乎任何人预期的都要诡异得多。
2.我们正处于起飞的早期阶段。AI 改进 AI 最终可能成为历史上最具影响力的里程碑之一。这一点尚不确定,因为我们不知道距离智能的物理和计算极限还有多远。
3.如今,我们正处于起飞阶段,算法研究正在加速发展。计算资源仍然稀缺,但研究人员的时间机会成本更低,因为你可以派遣智能体执行任何任务或看似徒劳的探索。它或许会有所收获。所有新想法都带有优化债务,而现在可以通过无监督的 Token 消耗来偿还。大量的研究扩展定律曲线将被跨越。
4.AI 模型,尤其是前沿模型,将会不断改进。唯一真正的壁垒是物理学。模型变得越来越自主、越来越聪明,并且时刻都在进步。数学和代码正在被“规模 + 强化学习”攻克,接下来就是其他所有领域。“可验证”与“不可验证”作为一种有意义的区分将会淡化。随着时间的推移,自动化的 AI 研究和 AI 学习看起来将越来越相关。训练模型与模型整体学习效果密切相关。样本效率、创造力以及所有其他限制都将被解决,然后开始在任何规模上接近算法最优。
5.认为长周期智能体总是需要同等长周期训练的观点是错误的,因为时间上的泛化是存在的。长任务并非仅仅由时间长短构成。这与 LeCun 关于 (1-e)^n 误差累积的谬误有关。实际上发生的是纠错。这发生在从单个 Token 生成级别一直到长任务步骤的多个尺度上。METR 图表上升的部分原因是,智能体正在开始达到纠错的逃逸速度。
6.深度学习的工程级科学即将到来。这将推动我们以远超预期的速度实现 AI 算法的成熟,尽管正如上面提到的,即使在理论上,这种成熟度究竟能达到什么程度也尚不明确。例如,尺度不变性科学能够显著提升有效实验的规模和收益,因为在单个 GPU 上进行的实验就能告诉你如何使用十万个 GPU。
7.在人类技术活动的每个领域,都会出现类似“Move 37”的突破时刻,但很快,这些突破时刻就会显得微不足道。所有领域都会如此。
8.算力将继续提升。如今最好的矩阵乘法机器远未达到 AI 加速器的物理极限。数字硅片还有很大的改进空间。还有很多新的基材候选者,它们所欠的算法债务将被自动化推向极限,但还不知道在空间 / 能源 / 时间 / 可制造性 / 成本方面,哪一个是 AI 的最优解。光子学和随机硅都是有趣的候选者,但也预料奇点将会出人意料。
9.实验室能够取得多大的进展,部分取决于自动化和规模带来的收益,这其中也包括算法深度提升带来的收益。如果深度学习的实践(和理论)永远停留在浅层,那么从长远来看,护城河主要将不再是算法,因为发现秘密的成本相对较低。最终,蒸馏 + 数据 + 时间可以赶上算力规模,但这个过程可能很慢。到目前为止,这似乎在部分程度上符合我们所处的现状,但即便如此,也无法保证它会继续这样下去。
10.如果随着规模的扩大,事物变得不那么肤浅,那么每一次自动化和规模的提升都会为你带来其他人越来越难以企及的算法秘诀。这似乎也是目前部分处于的情况。无论哪种情况,最终都会达到边际效用回归规模、研究饱和的阶段。不知道这个阶段何时到来。它可能距离今天的位置只有 2 个 OOM,也可能只有 20 个 OOM。没人知道。
智能供应链
1.算力在至少未来几年内将是竞争高度激烈的资源。但在此期间,它将开始商品化。规模不断扩大并发挥作用,资本也随之而来,推动着智能产业的持续发展。更多的矩阵乘法机器、更多的晶圆厂和更多的能源即将到来。智能生产的瓶颈只是暂时的,即使存在潜在的经济障碍。
2.智能供应链的性质正在发生变化。目前,它高度集中于实验室。但实验室正在实现其核心优势的自动化:研究人员和算法优势的发现。一旦这种情况开始发生,假设开源软件紧随其后,尤其是在实验室不垄断 AI 研究人员的模型的情况下,实验室的优势将来自于更容易获得的资金、更多的计算资源、特殊的数据、商业关系以及优质的产品。当然,这还取决于上述算法深度问题最终如何解决,以及其他因素。
3.分布式训练将减少对单一数据中心建设的需求,非超大规模数据中心将获得一些优势。不过,就单次最大运行规模而言,它仍无法超越超大规模数据中心。
4.自动化的 AI 实验将能够广泛发现算法的秘密,因为这些秘密自然比大规模训练运行更容易传播。目前尚不清楚这种趋势能发展到什么程度,但预计会发展得相当不错。如上所述,深度学习的基本深度仍然未知,这一点的上限取决于它。
5.尽管这些因素看似对其有利,但由于计算成本和机会成本,学术界和开源社区仍有可能发展停滞。例如,GB300 算力服务器用于 GLM5.2 还是 Fable 更有价值?在学术实验室进行非前沿研究还是在 Anthropic 内部构建 Mythos 2 更有价值?市场最终会找到需求最大的领域,而目前看来,实验室的需求最为旺盛。这意味着,即使开源实验室拥有资金,如果它们尚未锁定计算资源,它们仍可能面临更大的计算资源短缺问题。即便如此,它们也需要权衡研究的机会成本与租用计算资源的成本。
6.在 AI 能力日趋强大的环境下(未来 0-18 个月内),开源在社会层面也可能面临困境,尤其是在加速安全发展方面进展缓慢的情况下(目前确实进展缓慢)。
7.随着资本涌入实验室,开源可能会开始萎缩。这里存在一个协调问题,除了实验室(也许还有政府)之外,没有人希望出现垄断,但如果这个问题能得到解决且监管环境有利,也许情况会有所好转。
机器人技术
1.机器人技术将迎来类似 ChatGPT 那样的重大突破,以及类似 Opus 4.5 那样的重大突破。虽然这两个突破尚未发生,但终将到来,而且由于 AI 的快速发展,包括 AI 加速的物理系统工程,其速度将远超人们的预期。这两个机器人技术突破之间的时间间隔很可能不会超过三年。
2.然而,要真正扩大机器人的全球规模,可能要到 2030 年甚至更晚。尽管我们每年生产约 1 亿辆汽车,而人形机器人比汽车小得多。考虑到每年还生产 10 亿部智能手机,如果资本和算法能够快速发展,那么到 2030 年,每年生产约 1 亿台机器人似乎是合理的。每年 1000 万台机器人肯定是可以实现的,因为在无人机市场已经实现了这一目标。优秀的软件能够证明小规模人形机器人的价值,从而带来无限的资本,其价值与证明的质量成正比。
3.如今看似机器人发展的硬