Jeff Dean 和 Noam Shazeer — 谷歌25年：从PageRank到AGI (2026-02-13)

Jeff Dean and Noam Shazeer — 25 years at Google: from PageRank to AGI (2026-02-13, gemini-2.5-pro)

1. 导读

在人工智能的“iPhone时刻”之后，行业正屏息凝神地等待下一场范式革命。在这期播客中，两位塑造了现代计算与AI版图的核心人物——Google首席科学家Jeff Dean和Transformer架构发明者Noam Shazeer，罕见地联袂进行了一场长达25年的复盘与展望。这场对话的价值远不止于逸闻趣事，它系统性地揭示了驱动Google从搜索引擎巨头演进到AI前沿的底层思维：一种将硬件、软件与算法视为统一整体进行协同设计的世界观。

他们不仅回顾了TPU、Transformer等里程碑式创新的源起，更重要的是，他们首次详尽地勾勒出一幅关于AI未来的蓝图——一个由模块化、可独立演进、能有机生长的“智能体”取代当前“从零开始训练”的庞然大物的世界。这场对话将直接影响AI研究者对未来架构的选择、创业者对护城河的判断，以及投资人对算力之外真正稀缺资源的认知。当两位最顶尖的系统构建者开始谈论AI的“有机生命体”时，一个问题悬而未决：这套体系一旦开始自我加速，人类工程师的角色将剩下什么？

2. 核心观点

Jeff Dean与Noam Shazeer的核心世界观是：人工智能的进步是一场可以被系统性加速的工程马拉松，而非依赖于少数天才灵光的灵感迸发。 他们坚信，通过硬件、算法与数据策略的深度协同设计（co-design），可以构建一个能自我完善、持续演进的智能系统。这一观点具有争议性，因为它将通往AGI的路径描述为一个确定性不断增强的、可大规模并行的探索过程，这淡化了当前研究中普遍存在的随机性和不可预测性，并暗示了一条通往能力“爆炸式”增长的清晰工程路线图，而这条路线图的终点及其可控性，恰是行业最深层焦虑的来源。

一、硬件物理定律是算法创新的最终指挥棒

嘉宾断言，过去二十年的AI算法演进，本质上是对硬件性价比变化的被动响应。当算术运算变得极其廉价，而数据移动相对昂贵时，以矩阵乘法为核心的深度学习便应运而生，因为它用N³的计算换取了N²的数据通信。Google的TPU正是基于这一洞察，专门为低精度线性代数而设计的硬件。这一逻辑的延伸是，未来的硬件创新，如更高效的低比特精度计算（INT4甚至1比特），将继续定义算法研究的前沿。算法设计者必须与芯片设计者协同，才能抓住“将模型提速三倍”的机会，而不是固守于对高精度的偏好。

二、未来算力的主战场将从训练（Training）转向推理（Inference）

两位嘉宾明确指出，业界即将迎来一场“推理时计算”（inference-time compute）的爆炸式增长。他们认为，当前与LLM交互的成本已经比“读一本平装书”便宜100倍，这为“用更多计算换取更高质量答案”留下了巨大的经济空间。这意味着模型可以根据任务难度动态调整计算投入——简单问题快速响应，复杂问题则通过内部搜索、多轮探索等方式“更努力地思考”。这挑战了当前以“单次前向传播”为主的推理模式，预示着未来的AI系统在面对用户请求时，将进行远比现在复杂和密集的计算，这将对数据中心架构和硬件设计提出全新要求。

三. 下一代AI将是模块化、可独立演进的“有机体”

这是本次对话最具前瞻性的观点。他们批判了当前“一体化”训练大型模型的模式，认为其效率低下且难以扩展。取而代之的，是一个被Jeff Dean称为“有机”（organic）的系统：一个由无数个可独立开发、训练和升级的“专家”模块组成的庞大网络。在这个愿景中，一个团队可以专门优化处理东南亚语言的模块，另一个团队则专注于Haskell代码，然后将这些模块“接入”到主模型中实现能力升级，而无需对整个系统进行代价高昂的重训练。Google的Pathways系统正是为支撑这种“非规则、异步更新”的架构而设计的底层基础设施。

四、AI能力的加速反馈循环已成定局，且可被工程化管理

对话坦率地承认，一个由AI辅助设计芯片、AI探索新算法的自我加速循环不仅是可能的，而且已经开始。AI可以将芯片设计周期从18个月缩短至数月，同时能以千倍于人类研究员的规模进行算法实验。然而，他们并未将此视为失控的奇点，而是看作一个可以管理的工程问题。在他们看来，通过设置“人类在环”（human-in-the-loop）的审查节点、利用AI模型自身的分析能力来验证其他AI的输出，可以将这个强大的反馈循环置于可控的轨道上。这种“工程乐观主义”是他们能够坦然面对“智能爆炸”可能性的底层心态。

这四个观点构成了一个清晰的逻辑链条：由硬件定律（#1）催生的现有模型，其能力瓶颈将通过推理时计算（#2）来突破。实现这一点的最佳架构是模块化的有机系统（#3），而这个系统一旦成型，必将启动一个强大的自我改进循环（#4），他们相信这个循环的缰绳仍将握在工程师手中。

3. 批判与质疑

尽管Jeff Dean和Noam Shazeer的论述体系充满洞见，但其建立在几个关键的、尚未完全验证的前提之上，同时回避了一些根本性的难题。

首先，“模块化有机体”的愿景极大地低估了系统集成的复杂性。 他们将模块的“即插即用”描述得过于轻松。在实践中，不同模块间的交互可能产生灾难性的“涌现”行为，调试一个由成千上万个独立演进的模块构成的系统，其难度可能远超当前。嘉宾们承认实验中“50%的时间里，看似独立的改进会相互冲突”，将这一比例放大到千百个模块上，系统可能会陷入持续的集成噩梦。他们提出的解决方案——用蒸馏（distillation）技术来固化和优化模型——本身就是一个尚未完全解决的研究难题。

其次，他们对“人类在环”作为安全缰绳的信心显得过于乐观。 当AI系统每天能产出成千上万个潜在的算法或硬件设计改进时，“人类审查”将迅速成为整个加速循环中最无力的瓶颈。人类的认知带宽和理解深度有限，面对一个能以超人速度进行探索和迭代的系统，这种审查很可能沦为形式主义的“橡皮图章”，无法真正阻止不可预见或有害的路径被采纳。

再次，其论证体系的核心依赖于Rich Sutton的“苦涩教训”（The Bitter Lesson）——即最终唯有规模化的搜索和学习才能胜出。 这套逻辑之所以成立，是因为它假设未来的智能进步仍然遵循当前范式，可以通过堆砌更多计算和数据来暴力破解。如果AGI的实现需要某种当前无法通过规模化解决的根本性突破（例如真正的因果推理或抽象能力），那么这套以工程效率为核心的加速体系可能会撞上一堵看不见的墙。

最后，对话始终悬而未决的核心问题是：当一个系统被设计为“有机生长”和“自我改进”时，其最终目标如何保证与设计者初衷一致？ 嘉宾们将这个问题巧妙地转化为一个更具体的“安全工程”问题（如防止模型输出有害内容），但回避了更深层次的“对齐”（Alignment）问题。一个能够自主探索和优化自身架构的系统，其内部驱动力是什么？在亿万次迭代后，这个系统会优化出什么样的终极目标？这已经超出了传统软件工程的范畴，进入了控制论和哲学的领域，而这恰恰是这场以工程为基调的对话中最薄弱的一环。

4. 行业视野

这场对话为理解当前AI行业的演进提供了重要的“坐标感”。

它印证了“系统为王”的趋势正回归。 在过去几年，算法（尤其是Transformer）和数据（海量文本）似乎是聚光灯下的唯一主角。而Dean和Shazeer的论述则有力地提醒我们，底层的计算架构和硬件能力才是定义可能性边界的终极因素。这与NVIDIA创始人黄仁勋“我们是一家系统公司”的论调遥相呼应，也解释了为什么像Google、Microsoft、Amazon等拥有庞大自建基础设施的公司，在长期竞争中可能拥有比纯粹的“模型公司”更深的护城河。

它挑战了“模型越大越好”的单一信条。 尽管嘉宾们是scaling-law的实践者和受益者，但他们明确指出了当前“一体化巨型模型”范式的局限性，并提出了“模块化+持续学习”作为替代方案。这与Yann LeCun等学者对自回归LLM的批判形成了有趣的互补。虽然路径不同，但他们都指向了一个共同的未来：AI需要更高效、更灵活、更接近生物智能的架构。这为那些在巨型模型竞赛中资源不足的参与者，指明了另一条可能的差异化竞争路线。

同时，这场对话也与一段值得警惕的历史形成了对照。 Google在Transformer论文发布后，虽然内部持续研究，但在产品化上却一度被竞争对手超越。嘉宾们将其解释为对“事实性”和“安全性”的审慎，这反映了大型成熟企业在面对颠覆性技术时的“创新者窘境”。他们对于“AI加速反馈循环”的工程乐观主义，与当年贝尔实验室对晶体管、施乐帕克研究中心对图形用户界面的态度有相似之处——技术上极度自信，但对技术失控的社会动力学和商业竞争的残酷性可能估计不足。

最终，这场对话将Google的AI战略放置在一个更宏大的叙事中：他们并非在追赶一个聊天机器人产品，而是在构建一套能够驱动下一代所有服务的、可持续进化的“智能基础设施”。Gemini不是终点，而是这套宏大机器的第一个成熟产物。这个视角有助于市场理解Google在AI竞赛中的真实位置和长期潜力。

5. 启示与建议

这场对话挑战了“AI的进步是线性且可预测的”这一核心假设，并强化了“底层系统能力决定上层应用天花板”的观点。

对于AI研究者与开发者：

重新审视“推理时”的创新空间。 绝大多数研究集中于优化训练过程，但未来的价值洼地可能在于设计能够在推理时动态分配算力、进行多步思考和工具调用的算法。这需要从静态的“模型权重”思维转向动态的“计算过程”思维。
拥抱模块化与组合式AI。 与其追求构建一个无所不能的单一模型，不如探索如何将多个专家模型高效地路由、组合与蒸馏。对小型团队而言，这意味着专注于训练在特定领域（如法律、医药）做到极致的“专家模块”，并研究如何将其与基础模型高效集成，可能是一条更具可行性的路径。

对于投资人与行业战略家：

评估AI公司的标准应超越模型参数和基准测试分数。 真正的长期护城河在于其“AI生产AI”的能力，即整个研发体系的迭代速度和效率。关注那些在硬件、系统软件和算法层面进行垂直整合、并能将AI能力深度应用于自身研发流程的公司。
押注于加速循环的关键瓶颈。 Dean和Shazeer的蓝图揭示了几个关键瓶颈：高效的模型蒸馏技术、模块化系统的调试与集成工具、以及能够支撑大规模异步推理的新型计算架构。在这些“卖铲子”的领域，可能会诞生下一批百亿美金的公司。

最后，需要明确的是： 嘉宾们关于硬件/算法协同设计、推理时计算重要性的判断是强信号，这基于他们过去和现在正在进行的实践。而关于“有机模块化AI”的宏大构想，目前更多是一种基于深厚经验的合理推断和研发方向。它指明了山顶的位置，但通往山顶的路径依然充满迷雾，其实施难度和时间表应审慎看待。

6. 金句摘录

“Talking to a language model is like 100 times cheaper than reading a paperback.”
- 中文意译： “与语言模型交谈，成本大概比读一本平装书还便宜100倍。”
- 语境： Noam Shazeer以此论证，在推理（inference）阶段增加计算量以换取更高质量的答案，存在着巨大的、尚未被利用的经济空间。这个比喻颠覆了人们对AI算力昂贵的刻板印象，揭示了其在特定场景下的惊人性价比。
“If you have a brilliant idea that is just certain to work in the ML domain, then it has a 2% chance of working if you’re brilliant.”
- 中文意译： “在机器学习领域，即便你是个天才，想出了一个自认为万无一失的绝妙点子，它最终能成功的概率大概也只有2%。”
- 语境： Noam Shazeer在解释为什么需要大规模实验和探索时说了这句话。它辛辣地道出了机器学习研究的残酷真相：这是一个由大量失败和试错堆砌而成的领域，直觉和“天才”远不足够，唯有规模化的探索才能带来真正的突破。
“You could have bugs in your code. Most of the time that does nothing. Some of the time it makes your model worse. Some of the time it makes your model better.”
- 中文意译： “你的代码里可能有bug。大多数时候，它什么影响也没有。有时候，它让你的模型变得更糟。但还有些时候，它反而让你的模型变得更好了。”
- 语境： Jeff Dean和Noam Shazeer在讨论调试大规模、非确定性AI系统时的诡异现象。这句话揭示了深度学习系统的一个深刻特性：它们对噪声有极强的鲁棒性，以至于有时一个“错误”反而会像“dropout”一样，成为一种有益的正则化，从而意外地发现新的优化方向。
“I’ve stopped cleaning my garage because I’m waiting for the robots.”
- 中文意译： “我已经不打扫我的车库了，因为我在等机器人来干。”
- 语境： 当被问及是否相信AI能力会“爆炸式”增长时，Jeff Dean用这个生活化的例子风趣地表明了自己的立场。这句玩笑话比任何严肃的论证都更直接地透露出，这位身处风暴中心的技术领袖，对其所创造的技术在不远未来的颠覆性潜力抱有极大的个人信念。