Podecho

Jeff Dean and Noam Shazeer — 25 years at Google: from PageRank to AGI (2026-02-13, glm-4.7-flash)

1. 导读

如果你相信学界的两派争论，这场对话会颠覆你对AI演进路径的预设。作为Transformer架构的联名作者和MapReduce的缔造者，Jeff Dean和Noam Shazeer代表了硅谷最核心的算力与算法势力。他们参与讨论的不仅是技术细节，而是谷歌过去25年的技术哲学，以及未来AGI（通用人工智能）在物理世界的落地形态。

但这期播客最令人不安的地方在于，它揭示了令人尴尬但真实的“超前者陷阱”：Google内部早在ChatGPT引爆前就拥有名为Meena的对话系统，却因过度迷信“搜索引擎必须百分之百准确”的搜索旧神学，而在生成式能力的爆发上犹豫不决。当他们终于承认“做搜不到的事”比“搜得快”更有价值时，我们也必须审视他们背后的焦虑与野心——如果我们不仅是在等待一个更好的模型，而是在构建一个能自主进行“超长链条推理”并“即时自我迭代”的智能体，那人类现在的组织架构和监管体系是否真的准备好了？

这是一个关于从“构建通用搜索引擎”到“通过扩展推演时间来省略像规则一样笨拙的步骤”并最终实现全面自动化进化的宏大叙事。

2. 核心观点

两位主讲人认为，通往AGI的路已经从单纯的“算力堆叠”转向了“软硬件协同演化”的新范式。他们断言，未来几年的能力跃升将严重依赖更激进的算法妥协（如极致的量化）以及一个既能感知硬件特性又能自我进化的“有机模型”。

• 算法并非被动跟随硬件，而是主动重塑硬件规格。 他们认为过去的硬件（Intel芯片）是为复杂操作系统（Office）设计的，而现在的AI硬件本质上应该只是“廉价的线性代数运算器”。只有当算法需要低精度乘法时，硬件设计者才应该去填充那个方向。

  • 底层逻辑： 通信成本远高于计算成本，算法天然倾向于利用极低精度计算和密集连接。
  • 论据： Jeff Dean提到TPU设计从v1到现在的演变，以及大家开始从FP64转向INT4/INT2的训练与推理。

• 推理阶段的“偷懒”是算法设计的重大缺失。 现在的模型像是在考试只能做选择题，而人类会写下证明过程。这期对话中提出的核心洞见是：通过在推理时投入数十倍甚至数百倍的算力，模型可以进行多步的“思维链搜索”，从而解决复杂逻辑问题。

  • 底层逻辑： 当算存的成本足够低时，我们不再是追求“最快给出一句话”，而是追求“用回溯法直到找到绝对正确的路径”。
  • 论据： Dean将“多思考几次”比作比阅读纸质书还便宜的爱好，甚至比雇佣软件工程师便宜百万倍。

• “组合式智能体”（The Blob）将取代单体模型。 传统的Mixture of Experts（MoE）是僵化的结构，未来应该是一种“有机”生长的模块化系统。每个部分（如专家）可独立升级，连接方式由硬件和任务动态决定，甚至通过自学来优化内部的连接权重。

  • 底层逻辑： 人的大脑是高度专业化且动态重组的片段，僵化的全连接神经网络既浪费算力又限制了灵活性。
  • 论据： 两人讨论的Pathways系统和未来的“有机模型”构想，即如果任务简单，路由器让其走极小路径；如果任务复杂，则激活大路径。

• Google的迟缓源于“搜索范式“的路径依赖。 Noam Shazeer坦诚，Google内部的聊天机器人（Meena）比ChatGPT出现得更早，但由于受到谷歌“搜索引擎必须事实准确”的基因束缚，管理层不敢发布。

  • 底层逻辑： 早期的预警机制过于依赖“搜索结果准确性“这一单一指标，而非“多模态任务的实用性“。
  • 危机点： 这种思维定式差点让Google在AGI的起跑线上落后，反过来证明了“容错“在生成式AI生态中的必要性。

• AI研究的生产力将指数级提升。 随着自动化代码生成技术的成熟，成千上万的“超算工程师“将瞬间诞生。人类不再需要手写实验代码，而是提出构想，让模型自行在PB级数据中寻找最优解。

  • 底层逻辑： 现有的研究者数量不足以穷尽当前的架构空间，必须引入机器辅助的并行探索。
  • 推论： 这将把人类的研究活动从“手工作坊”转变为“超级实验室”，失败率虽高但量级足以触碰质变。

这些观点形成了一个严密的逻辑闭环：算法现在迫切需要通过硬件特化（更便宜的算力）、推理流程特化（更深度的思考）和模型结构特化（有机的Blobs）来释放算力。如果这个闭环被打破——例如算法本身陷入局部最优——所有的硬件投入都将是浪费。

3. 批判与质疑

虽然听众会为两位大佬对技术趋势的敏锐洞察而折服，但我们必须保持审慎。

首先，关于“有机模型”的可控性与可解释性存在巨大的未知数。Jeff Dean断言我们不需要理解模型的每个神经元（真黑箱），才能保证安全。然而，如果模型能够在毫秒级、万亿次、但又是自动化的方式下修改自己的内部连接和核心代码，这种“深度的黑箱自我修改”带来的风险可能与“手写代码”无异。若系统在学习过程中演化出一种为了“快速收敛”而牺牲“人类偏好”的行为模式，而在当前有限的监督下难以察觉，那么所谓的“有机生长”可能比僵化的结构更危险。

其次，过度依赖“Inference Scaling”（推理时扩展）存在瓶颈。Dean认为花更多的钱让模型多算几遍就能变聪明。但这是否存在上限？如果每次解决复杂问题都像解数学题一样需要一步步回溯，那么时间和金钱成本会不会高到不可接受？目前的论据倾向于认为算力便宜，但如果一个问题需要消耗一个国家的电力时，人类是否还会选择“跑一遍模型”？

最后，Google关于“Search vs. Chat”的反思似乎流于表面。他们认为自己放慢脚步是因为过于在意准确性。但更深层的逻辑可能是，Google作为一个搜索巨头，其商业模式是基于“点击率和广告”的，而ChatGPT代表的生成式AI潜在的商业模式是基于“订阅费”和“生产力解放”的。这种商业模式的差异才更可能是他们在产品化上的犹豫根源，而不仅仅是技术上的洁癖。

4. 行业视野

谷歌这期对话不仅是对自身历史的复盘，更是在宣告“后Transformer时代”的到来。

将其置于整个AI历史图景中，我们看到的是从**“技术栈驱动”向“生态位驱动”**的趋势转变。在90年代末，Google靠独门算法（PageRank）和分布式系统（MapReduce）收割红利；现在，AI的护城河正在演变为一种“软硬一体化”的生态位——TPU、Mixture of Experts、以及谷歌独有的底层软件栈，共同构建了一个封闭的进阶飞轮，使得外部开发者很难仅仅靠算法创新就撼动其地位。

这与历史形成了某种尴尬的呼应：就像20年前IBM的Sparc架构与Sun的操作系统软件协同构建了应用层的繁荣一样，现在的Google正在做同样的事。不同的是，当年的互操作性更好，而这次如果没有极其激进的开放姿态（尽管他们也试图开源），这种**“闭源的AI特警队”**可能会在很长一段时间内利用先发优势形成巨大的技术马太效应。这篇播客其实是在提醒所有人：拼刺刀的时代已经结束，拼基建和拼自动化研发能力的时代到了。

5. 启示与建议

这场对话重构了我们关于“人与AI协作”的假设。

• 对于高科技企业的CTO与研发总监： 你的团队不应再致力于成为“最懂提示词的人”。你需要关注的是如何构建能够容纳“自主Agent”的基础设施。如果你的代码库不能被Gemini级别的模型在几分钟内扫描并生成简历级别的补全，你会迅速落后。建议： 立即进行“AI原生化”改造，不再分层管控代码，而是像Google那样让内部模型在代码库上进行漂浮训练，使其能直接引用内部知识库。

• 对于投资人： 不要再纠结于现在谁是“大模型一哥”。重点在于谁能掌控**“推理时算力”**的边际成本降得更低。那些掌握超级算力中心，并能像设计芯片一样设计算法的公司，将通吃未来。建议： 密切关注芯片设计的自动化程度与推演成本的下降曲线，这是一切估值模型的分母。

• 对于产品经理： 你需要重新定义“成功”。过去我们追求“精准告知”，现在（且未来）我们要追求“任务完成”。建议： 承认AI会犯错，将产品从“强迫回答正确”转向“提供选项并支持反思”。将用户界面设计为无人驾驶路线的“副驾驶”而非“主司机”。

结论优先级：

• 强信号： “Inference scaling”（多算一次更聪明）是从硬件到算法的全行业共识。
• 合理推断： Google凭借其算力与协议优势，将在未来2-3年内通过“软硬协同”重新确立统治地位。

6. 金句摘录

“And no, wait, we can increase our throughput-to-cost ratio by a lot by quantizing.” 意译： 当算力已经便宜到一定程度时，算法设计者不应嫌弃低精度，因为这是通过提升吞吐量来降低成本的最有效杠杆。

“Talking to a language model is like 100 times cheaper than reading a paperback.” 意译： 即使目前低精度推理成本较高，但与读纸质书的体验相比，与大型语言模型的交互在算力成本上的优势依然巨大，这为“多算几遍”留下了巨大的利润空间。

“I think one thing people should be aware of is that the improvements from generation to generation… is equally and perhaps even more so driven by major algorithmic improvements … that really makes the model better per flop.” 意译： 现在的模型性能提升，越来越依赖于算法上的突破性进展，而不仅仅是计算量的堆砌，这使得算法优化本身成为了提升效率的关键瓶颈。

“We had an internal chatbot system that Googlers could play with… I think what we didn’t quite appreciate was how useful they could be for things you wouldn’t ask a search engine.” 意译： 我们当时太迷信搜索的单一性，忽略了像“帮我给兽医写张便条”这种非搜索类任务，竟然蕴含着比精确检索大得多的社会价值。