Jeff Dean and Noam Shazeer — 25 years at Google: from PageRank to AGI (2026-02-13, deepseek-chat)
1. 导读
本期播客的对话者是谷歌的两位传奇工程师 Jeff Dean 和 Noam Shazeer。他们不仅是谷歌过去25年技术演进的亲历者与核心构建者，更是当前人工智能浪潮的直接推动者——从 Jeff 早期关于并行化反向传播的本科论文，到 Noam 作为 Transformer 架构的共同发明人。他们的资格无需赘言。在 ChatGPT 引发的通用人工智能（AGI）热潮已持续两年、行业竞争白热化的当下，这两位身处谷歌 DeepMind 核心、共同领导 Gemini 项目的灵魂人物，罕见地坐在一起，系统性地回顾历史、剖析现状并展望未来。这场对话的价值，远不止于重温谷歌的辉煌历史，更在于他们如何基于25年的系统级工程经验，构建一套关于 AGI 技术路径、演进速度乃至终极形态的独特世界观。对于任何试图理解 AI 竞争格局、技术瓶颈与未来可能性的从业者、投资者或政策制定者而言，这都是一次不可多得的、从“造物主”视角审视 AI 演进逻辑的机会。然而，一个核心的张力贯穿始终：他们描绘的是一条通过工程迭代稳步迈向 AGI 的“可管理”路径，但对话中反复出现的“反馈循环”、“能力爆炸”等概念，又暗示着这条路径本身可能蕴含着远超预期的加速度与不确定性。
2. 核心观点
Jeff Dean 和 Noam Shazeer 的核心世界观是：AGI 的达成是一个复杂的系统工程问题，其演进由硬件、算法、数据和系统架构的协同设计与持续迭代共同驱动，而非依赖单一的理论突破。这一观点之所以有争议，在于它淡化了“灵光一现”式的科学革命叙事，将智能的涌现归结为可规划、可优化的工程实践，同时，他们对“能力爆炸”可能性的开放态度，又与其强调的“可控演进”形成了内在张力。
算法追随硬件，定义 AI 范式 他们断言，深度学习的兴起并非偶然，而是硬件特性（算术成本远低于数据移动成本）所塑造的必然。Noam 明确指出，如果内存成本下降得更快，今天的 AI 可能更依赖于大型查找表而非矩阵乘法。这一判断的底层逻辑是“机会成本”驱动：当芯片面积被大量低精度算术单元填满时，算法（如矩阵乘法和 Transformer 架构）自然演进来充分利用这一特性。TPU 的诞生就是这一逻辑的完美体现——它首先是为低精度推理设计的“线性代数机器”，然后倒逼算法进行适配（如量化技术），从而形成硬件-算法的正向循环。
推理时计算（Inference-time Compute）是下一阶段能力跃升的关键杠杆 他们认为，当前模型能力的瓶颈不在于训练规模，而在于推理时投入的计算量不足。Noam 给出了一个震撼的对比：当前大模型生成百万 token 的成本约1美元，远低于阅读一本平装书或咨询人类专家。因此，存在巨大的“性价比”空间，通过投入10倍、100倍甚至1000倍的推理时计算（例如通过搜索、规划、多路径验证等算法），让模型“思考得更深入”，从而显著提升任务解决能力，尤其是处理需要分解为数百上千个子步骤的复杂问题。这预示着 AI 服务的成本结构和使用模式将发生根本性变化。
模型架构将走向“有机生长”的模块化巨型系统 Jeff 描绘了一个超越当前混合专家（MoE）模型的未来图景：一个结构上更“有机”、模块化程度更高的巨型模型“Blob”。这个系统不同部分专精于不同领域（如特定语言、代码库、个人数据），其连接拓扑会反映硬件层级（芯片内高带宽、跨数据中心低带宽），并能以近乎“外科手术”的方式独立更新或增删模块。这种架构不仅能实现“持续学习”，还能让全球成千上万的团队并行开发不同模块，最终通过蒸馏等技术提取出高效可服务的子模型。这暗示着未来的 AI 基础设施竞赛将围绕构建和运营此类巨型、动态的模型系统展开。
自动化研究将极大加速算法进步，但最大规模实验仍是瓶颈 两人都相信，AI 将能极大地辅助甚至自动化研究过程，例如根据高层次描述生成实验代码、探索算法变体。Noam 估计，这可以使研究效率提升百倍。然而，他们也指出，验证想法在最大规模（如训练万亿参数模型）下的效果，目前仍是无法加速的“N=1 实验”，需要顶尖研究员的直觉和调试。这意味着，虽然探索空间可以指数级扩大，但最终决策和整合仍需人类深度参与，形成“自动化探索+人类把关”的混合模式。
AGI 的演进速度取决于多个反馈循环的叠加效应 对话中最引人深思的判断是，AGI 的到来可能不是线性的，而是由多个正反馈循环加速的。这些循环包括：更好的 AI 帮助设计更优的硬件（如用强化学习将芯片设计周期从18个月缩短到与流片时间相当）、更好的 AI 帮助发现更好的算法、更优的算法和硬件又能训练出更强的 AI 来继续推进前两者。Jeff 承认，这“很有可能”导致能力在接近人类智能水平时急剧提升。尽管他们强调工程安全措施（如人类监督、API 控制层）的重要性，但这一判断本身已触及了关于 AI 风险讨论的核心。
这些观点构成了一个环环相扣的逻辑链：硬件特性塑造了算法基础（观点一），而当前算法的效率允许我们通过大幅增加推理计算来廉价地获取能力跃升（观点二）。为了承载更复杂、更多样的能力，系统架构必须变得模块化和有机化（观点三）。同时，AI 自身将成为加速这一进程的核心工具（观点四）。所有这些因素相互作用，可能形成一个强大的加速反馈循环（观点五），最终决定 AGI 来临的速度与形态。
3. 批判与质疑
Dean 和 Shazeer 的论述体系建立在谷歌过去25年成功的工程文化之上，其优势在于务实与系统性，但也存在一些依赖未经验证的前提和可能被忽略的风险。
首先，他们的整个蓝图严重依赖于“规模扩展”（Scaling）继续有效的假设。无论是推理计算、模块化模型还是自动化研究，其收益都预设了增加计算资源、模型参数和数据能持续带来性能提升。然而，我们已看到一些领域出现收益递减的迹象。他们承认需要从训练目标、多模态数据利用和主动学习等方面提升数据效率，但这仍是未解决的挑战。如果“规模法则”在关键能力（如复杂推理）上提前失效，其描绘的演进路径将大幅放缓。
其次，他们对“工程安全”的信心可能低估了“对齐”（Alignment）问题的本质困难。他们提出的解决方案——使用 AI 来检查 AI 输出、通过 API 进行控制、借鉴航空软件的安全流程——主要针对的是已知的、可规范化的风险（如事实错误、有害内容）。但对于一个可能通过自我改进快速超越人类理解范围的系统，如何确保其底层目标与人类一致，是一个性质不同的“元问题”。Jeff 提到的“如果模型在帮你写 AI 研究代码时优化了错误目标”的场景，正是对齐难题的核心，而工程管控在智能体具备战略欺骗能力时可能失效。
再者，他们倡导的“有机生长”的模块化巨型模型，在带来灵活性的同时，也引入了前所未有的复杂性。系统的可解释性、可调试性和可靠性将面临巨大挑战。Noam 提到专家神经元相对容易理解，但在一个动态演进的、拥有数百万个异构模块的“Blob”中，理解其整体行为并确保其安全，难度是指数级增加的。这可能导致系统在表现出强大能力的同时，也变得像一个无法完全理解的“黑箱”，增加不可预测的风险。
最后，对话结束时一个核心问题依然悬而未决：在追求 AGI 的激烈竞争中，谷歌（或任何公司）如何在“快速迭代以保持领先”与“审慎测试以确保安全”之间取得平衡？当自动化研究将开发周期从年缩短到月甚至周时，留给安全评估和伦理审查的时间窗口会被极度压缩。Dean 和 Shazeer 展现了技术乐观主义者的自信，但商业竞争的现实压力可能迫使所有参与者走在安全护栏的边缘。
4. 行业视野
这场对话清晰地印证了 AI 行业正在从“模型中心化”向“系统中心化”演进的趋势。OpenAI、Anthropic 等公司强调在单一密集模型上的突破，而谷歌则凭借其从芯片（TPU）、网络（数据中心互联）到软件框架（Pathways）的全栈优势，押注于一个更宏大、更异构的系统愿景。Jeff 描述的“有机 Blob”与 OpenAI 的“超级对齐”或 Anthropic 的“可解释性”研究路径形成了鲜明对比，代表了解决 AGI 复杂性的两种不同哲学：一是通过构建复杂但可控的工程系统来容纳智能，二是试图从根本上理解和控制智能模型本身。
它挑战了一个根深蒂固的共识，即 AI 进步主要依赖于更大的训练算力和数据。Dean 和 Shazeer 反复强调，算法改进、推理计算和系统架构创新是与算力同等重要甚至更重要的驱动因素。这提醒行业，在疯狂囤积 GPU 的同时，可能低估了软件和系统层面的创新潜力。
历史地看，谷歌的路径与互联网早期的发展形成了有趣的呼应。正如谷歌通过构建全球规模的分布式系统（如 MapReduce、BigTable）来“组织世界信息”，它现在正试图通过构建星球级的模块化 AI 系统来“理解和生成世界信息”。这种将复杂问题分解为可扩展工程挑战的能力，是谷歌的基因。然而，这也让人联想到大型软件系统（如操作系统）的发展史：随着系统变得极其复杂和耦合，维护、升级和确保安全会变得异常艰难。谷歌能否在 AI 系统上避免“软件熵”的诅咒，将是一个终极考验。
5. 启示与建议
这场对话强烈挑战了一个假设：即 AI 发展是缓慢、线性且主要受外部硬件摩尔定律驱动的。它强化了另一个假设：AI 进步是一个由算法、硬件、系统架构和 AI 自我改进工具共同构成的强反馈循环，其速度可能远超预期。
对 AI 基础设施与硬件投资者： 应密切关注“推理时计算”范式带来的硬件需求变化。投资标的不应只关注训练芯片的算力，更要关注那些能高效执行复杂搜索、规划、多路径验证等推理任务的专用架构。同时，支持超大规模模型（数万亿参数）全参数驻留内存的高带宽内存（HBM）和先进封装技术，将是实现“有机 Blob”愿景的关键。Jeff 关于用 AI 加速芯片设计的论述，是未来1-2年需要验证的强信号，若能实现，将重塑半导体行业。
对大型科技公司及云服务商： 必须重新评估其 AI 战略是否具备“全栈”深度。仅仅微调开源模型或依赖第三方芯片可能无法构建长期竞争力。需要像谷歌一样，在模型架构（如模块化设计）、训练框架（支持异步、异构计算）、数据中心网络（支持跨地域同步训练）乃至芯片设计上进行协同投资。组织上，需在集中式的大项目攻关（如 Gemini）与鼓励冒险、快速试错的“自下而上”研究文化之间找到平衡，正如 Noam 所反思的。
对 AI 安全与政策研究者： 必须将研究重点从静态的模型输出审查，转向动态的、具备自我改进能力的 AI 系统的“行为对齐”和“目标稳健性”。需要发展出能验证和约束在复杂工作流中（如自动研究、代码生成）运行的 AI 代理的方法。政策制定应关注对自动化 AI 研究流水线的审计与监管，而不仅仅是最终模型。对话中关于“能力爆炸可能性”的开放态度是一个需要严肃对待的合理推断，而非危言耸听。
强信号包括：1）推理时计算作为关键杠杆已成共识并将快速产品化；2）模型架构向稀疏化、模块化演进是明确趋势。需打折扣的合理推断包括：1）“有机生长 Blob”的具体形态和可行性，这仍是一个远期愿景；2）AI 自动化研究能将算法探索效率提升百倍的具体时间表，这依赖于许多未解决的技术问题。
6. 金句摘录
“The speed of light was 35 miles an hour until Jeff Dean decided to optimize it over a weekend.” （在 Jeff Dean 决定用一个周末优化它之前，光速是每小时35英里。） 语境：主持人引用了一个关于 Jeff Dean 的经典程序员笑话，用以形容他早期将机器翻译系统从12小时/句优化到100毫秒/句的传奇事迹，凸显了系统优化带来的数量级性能飞跃。
“We’re 100x cheaper than reading a paperback.” （我们比读一本平装书便宜100倍。） 语境：Noam Shazeer 用惊人的对比说明当前大模型推理的成本极低，从而论证有巨大空间通过增加推理计算来提升模型智能，而用户仍会觉得“物超所值”。
“I’ve stopped cleaning my garage because I’m waiting for the robots.” （我已经不打扫车库了，因为我在等机器人。） 语境：Noam Shazeer 用一句略带调侃的话，表达了他对 AI 能力将快速提升并接管各类任务的强烈信念，属于“加速主义”阵营的日常体现。
“It’s almost like you go from 1930s trading of tickets or something to now modern Jane Street or something.” （这几乎就像从1930年代的票券交易，变成了现在的简街（顶级量化基金）那样。） 语境：Noam 在描述未来人类管理数百万 AI “员工”进行复杂任务时所需的界面和协调机制，比喻了任务复杂度和管理范式的根本性跃迁。
“The beautiful thing about model parameters is they are quite memory-efficient at memorizing facts. You can probably memorize on the order of one fact or something per model parameter.” （模型参数的美妙之处在于它们记忆事实的效率很高。你大概每个参数能记忆一个事实。） 语境：Jeff Dean 比较了模型参数记忆与上下文记忆的成本差异，为为何需要让模型能“关注”海量上下文（如整个互联网）而非全部压缩进参数提供了核心论据。