2万字专访：黄仁勋深度解读AI时代的机遇与挑战

文：Web3天空之城·城主

NVIDIA首席执行官黄仁勋十月刚刚接受了一场投资者的80分钟面谈专访。在这次最新长谈中，他用一如既往的风格，深入探讨了人工智能领域的最新发展，分享了对未来计算架构的独到见解，以及NVIDIA在推动AI革命中的战略布局。黄仁勋以独到的见解，为我们深入揭示了AI时代的机遇与挑战。

B站传送：【NVIDIA CEO黄仁勋最新十月长访@ BG2投资播客 2024.10.14【中英精校】-哔哩哔哩】

AI个人助理的未来触手可及

访谈一开始，主持人提出了一个令人振奋的愿景：拥有一个口袋里的私人AI助理，了解我们的一切，具备完美的记忆，能够与我们沟通，帮忙处理日常事务。对此，黄仁勋充满信心地表示，这样的助理将在不久的将来以某种形式出现在我们身边，而且会随着时间的推移变得越来越完美。

黄仁勋的乐观态度反映了AI技术的迅猛发展。随着深度学习和自然语言处理的不断突破，AI个人助理的实现已不再是遥远的梦想，而是即将到来的现实。这将深刻改变人类的生活方式和工作模式。

重新发明计算：Computing的革命性变化

黄仁勋强调，我们正在重新发明计算。他指出，NVIDIA在过去十年中将计算的边际成本降低了10万倍，远超摩尔定律带来的百倍增长。这一成果源于加速计算的引入，以及在GPU架构、数值精度、张量核心等方面的创新。

他进一步解释，传统的CPU架构已无法满足AI时代的计算需求。通过将CPU上效率不高的任务转移到GPU上，加速计算成为可能。同时，软件、算法和硬件的同步创新，使得整个技术堆栈都在高速发展。

这一观点揭示了NVIDIA在AI时代的战略优势。通过硬件和软件的深度融合，以及对整个计算架构的重新设计，NVIDIA确立了其在AI计算领域的领先地位。这种革命性变化不仅提升了计算性能，也为AI的快速发展奠定了基础。

深厚的护城河：从GPU到完整生态系统

在谈及NVIDIA的市场护城河时，黄仁勋指出，NVIDIA的优势不仅在于硬件性能，更在于其构建的完整技术堆栈，尤其是软件和库的支持。他强调，加速计算的成功离不开CUDA等领域特定库的贡献。这些库使得开发者能够高效利用GPU的性能，实现AI模型的快速训练和推理。

NVIDIA通过构建软硬件一体化的生态系统，形成了难以逾越的竞争壁垒。对开发者友好的平台和工具，加上持续的技术创新，使得NVIDIA在AI领域保持领先。

推理的重要性：AI应用的未来

随着AI模型的发展，黄仁勋强调了推理（Inference）的重要性。他认为，推理本质上是大规模的训练，只有在推理阶段表现出色，AI模型才能真正为用户带来价值。NVIDIA在推理方面的技术积累和架构设计，使其能够高效支持复杂的推理任务。

推理阶段的性能直接关系到用户体验和AI应用的实用性。NVIDIA在推理领域的优势，进一步巩固了其在AI全产业链的主导地位。

面对竞争：坚持独特使命

对于市场上定制ASIC的竞争，黄仁勋坦言NVIDIA的目标与众不同。他表示，NVIDIA专注于构建适用于AI、生成式AI和代理AI的新计算平台，重塑整个计算堆栈。他强调，公司唯一的目标是构建一个无处不在的平台架构，而不是从他人手中夺取市场份额。

这种战略定位彰显了NVIDIA的自信和远见。通过专注于自身的独特使命，NVIDIA致力于持续创新，引领AI时代的发展方向。竞争者的存在反而激发了NVIDIA不断前进的动力。

需求与挑战：AI计算的规模化

谈及未来的需求，黄仁勋预测，全球将需要数百万个GPU来支持AI计算。他以Elon Musk的X公司在19天内建成10万GPU的超级计算机为例，展示了AI计算需求的爆炸式增长。他认为，分布式计算和新算法的发明将使得大规模AI计算成为可能。

这反映了AI产业的巨大潜力和面临的挑战。如何满足如此庞大的计算需求，既是技术问题，也是产业机遇。NVIDIA在计算加速和架构优化方面的优势，使其有能力引领这一波浪潮。

AI对社会和生产力的影响，AI安全

黄仁勋深信，AI不会取代人类，而是会改变每一项工作。他预见未来的企业将由生物员工和数以百万计的AI助手组成，生产力将实现质的飞跃。他强调，AI将帮助人们实现自动化，激发创造力，并推动经济增长。

在谈到AI安全时，黄仁勋强调了行业自律的重要性。他指出，构建安全的AI需要技术研发、最佳实践和适度的监管。此外，他认为开源模型对于AI的发展至关重要，开放与闭源应相辅相成，共同推动技术进步。

这一观点描绘了AI与人类共生的未来图景。AI作为工具和伙伴，将解放人类的潜能，促进社会的进步。同时，也提出了对于教育、就业和伦理的思考。AI的安全和伦理是不可回避的问题。通过行业合作和透明度的提升，可以有效预防潜在风险。开源精神的坚持，将有助于激发创新，促进AI在各领域的公平应用。

–天空之城书面全文版2万字–

（前言）黄仁勋：

他们取得的成就是独一无二的，这是前所未有的。从另一个角度看，100,000 个 GPU 绝对可以称为地球上最快的超级计算机。这是一个超级计算机集群。通常，建造这样一台超级计算机需要三年的规划时间，设备交付后还需要一年的时间才能完全运作。而我们，仅用了19天。

主持人：Jensen，你的眼镜不错。

黄仁勋：嘿，是的，你的也不错。

主持人：和你在一起真好。

黄仁勋：我也戴着类似的眼镜。

主持人：好吧，它们并不丑，还算不错。更喜欢红色的吗？

黄仁勋：只有你的家人会喜欢的东西。

主持人：今天是10月4日星期五，我们在Nvidia总部。

黄仁勋：欢迎！

主持人：

谢谢。周一我们将举行年度投资者会议，我们将在会上讨论人工智能的所有影响，以及我们扩展智能的速度。我真的想不出比你更适合开始会议的人了。我很感激。作为股东和思想伙伴，我们来回交流想法，你真的让我们变得更聪明。我们非常珍视这段友谊，感谢你的到来。

黄仁勋：很高兴来到这里。

主持人：

今年的主题是将智能扩展到AGI。令人难以置信的是，两年前我们做这件事时，人工智能正处于一个重要时期，而那还是ChatGPT问世的两个月前。想想所有这些变化。所以我想，我们可以从一个思想实验和预测开始。

如果我把AGI想象成我口袋里的私人助理，那将是多么美妙。是的，它了解我的一切，对我有完美的记忆，它可以与我沟通，帮我预订酒店或预约医生。当你看到当今世界的变化速度时，你认为我们什么时候才能拥有这样的个人助理？

黄仁勋：

很快，以某种形式，是的。很快就会以某种形式出现，而且随着时间的推移，这个助手会越来越好。这就是我们所知的技术之美。所以我认为一开始它会非常有用，但并不完美。然后它会随着时间的推移变得越来越完美，就像所有的技术一样。

主持人：

当我们观察变化的速度时，我想起埃隆曾说过，唯一真正重要的是变化的速度。我们确实感受到变化的速度已经显著加快。这是我们在这些问题上见过的最快速度，因为我们和你一样，在AI领域已经耕耘了十年。这是您职业生涯中见过的最快速度吗？

黄仁勋：

这是因为我们重新发明了计算。我们在10年内将计算的边际成本降低了100,000倍，而摩尔定律的增长约为100倍。我们通过多种方式达成这一目标，包括将CPU上效率不高的工作放在GPU上完成，引入加速计算，发明新的数值精度，以及通过新的架构、张量核心来实现。

系统构建的基础包括使用NVLink增加超快的内存、HBM，并通过NVLink和InfiniBand扩展整个堆栈。这些创新导致了类似超摩尔定律的增长速度。我们从人工编程转向机器学习，机器学习能够快速学习。我们重新分配计算方式，实现了多种并行性，如张量并行性和管道并行性，并在此基础上发明新算法和新训练方法。这些创新不断叠加。

回顾摩尔定律的发展，软件通常是静态的，是预编译和包装后出售的，而硬件则以摩尔定律的速度发展。现在，整个科技堆栈都在同步增长和创新。因此，我们突然看到系统的扩展。以前，我们讨论预训练模型的扩展，以及如何将模型大小和数据大小翻倍，使得所需计算能力每年增加四倍。这是一个重大变化。如今，我们也看到了后训练和推理阶段的扩展。预训练再也不被视为艰难，推理也变得复杂。认为人类所有思维都是一次性想法是荒谬的，因此需要快速思考、慢速思考、推理、反思、迭代和模拟的能力。

主持人：

我认为，到目前为止，关于NVIDIA最容易被误解的一点是它真正的护城河有多深。许多人可能认为只要有人发明了一种新的更好的芯片，他们就能够胜出。在过去十年中，你一直致力于构建从 GPU 到 CPU 再到网络的完整技术堆栈，尤其在软件和库方面，使应用程序能够在 NVIDIA 上成功运行。

当你思考 NVIDIA 当今的市场护城河时，你认为相比三四年前，它是变得更大还是更小了？

黄仁勋：

我非常欣赏你对计算技术发展变化的认知。许多人认为设计一个更好的芯片就是增加更多的触发器、位和字节，但这实际上是一种过时的思维。长久以来，我们的理解是，软件只是运行在 Windows 上的某个应用程序，而且是静态的。过去，人们认为提高系统性能的最佳途径是制造更快的芯片，但我们已经认识到机器学习并非由人类编程，它不仅仅是软件，它涉及整个数据处理过程。

对我们而言，机器学习的关键在于“飞轮效应”。那么，如何启用这个飞轮，同时让数据科学家和研究人员在其中高效工作呢？这个飞轮自一开始就运转不息。很多人甚至未曾意识到，教会人工智能需要先利用人工智能去整理数据，而人工智能本身极为复杂且在不断进步。

主持人：

它是否也在加速发展？而这种发展，是所有系统相结合的结果。

黄仁勋：

是的 ，由于智能化的数据整理技术，我们现有合成数据生成及多种数据处理、呈现方式。因此，高效的数据处理在训练之前就已经开始。人们可能认为 PyTorch 是新时代的起点，但在 PyTorch 出现之前和之后都有大量工作要完成。要专注于飞轮的整体，这是你应该考虑的重点。如何设计计算系统和架构，以利用飞轮并实现最高效运作呢？这并不是应用程序的一部分，也不只是训练。这只是一个过程中的一步。飞轮上的每一步都很艰难。因此，首先要做的不是考虑如何加快 Excel 或 Doom 的运行速度，那都是过去的事情。现在需要思考的是，如何让飞轮运转得更快。这个飞轮由许多不同的步骤组成。

正如大家所知，机器学习并不容易。OpenAI、X、Gemini 和 DeepMind 团队所做的工作都是复杂的。所以，我们决定关注真正值得思考的问题：整个过程如何加速。加速每一部分是目标，而遵循阿姆达尔定律至关重要。阿姆达尔定律指出，如果某个步骤占用30%的时间，即使加速三倍，整体过程的提升也有限。所以，创建一个可以加速每一步的系统是关键，只有这样才能实质性地改善周期时间。

飞轮和学习率是导致指数级增长的原因。我们对公司及其实际工作的理解最终会体现在产品中。我们的目标是在整个周期中加速飞轮的运转。当前的主要关注点是视频领域，很多人专注于物理人工智能和视频处理。想象一下每秒都有 TB 级数据进入系统，这需要一个能吸收所有数据的管道来首先为训练做好准备。

整个过程都是通过 CUDA 加速的。

主持人：

今天，人们大多只考虑文本模型，但未来的视频模型以及一些文本模型，例如 O1，将能够在我们到达目标前真正处理大量数据。

黄仁勋：

语言模型将无所不包，训练这些大型语言模型需要业界巨大的技术努力。现在，我们在每一步中都使用大型语言模型，这非常了不起。

主持人：

虽然不想简化这个过程，但常常会听到投资者问，定制 ASIC 的问题呢？是的，但他们的竞争模式将因此受到打击。

我听到您说，在组合系统中，优势会随着时间的推移而增长。所以，我们的优势比三四年前更大，因为我们正在改进每个组件，这是组合的效果。

当你考虑，例如，作为一个商业案例研究，英特尔，它拥有主导模式，在堆栈中占据主导地位。

黄仁勋：

他们之所以与众不同，是因为可能是第一家在制造、工艺工程、制造以及制造之上的芯片制造方面都非常出色的公司。他们在 x86 架构中设计芯片、构建芯片，并制造出越来越快的 x86 芯片，这就是他们的聪明之处。他们将其与制造融合在一起。

我们公司在这方面略有不同，我们认识到随并行处理并不要求每个晶体管都表现出色，而串行处理要求每个晶体管都性能卓越。并行处理需要大量的晶体管才能更具成本效益。我宁愿晶体管数量多10倍、速度慢20%，也不愿晶体管数量少10倍、速度快20%。这有道理吗？它们是相反的。

因此，单线程性能、单线程处理和并行处理非常不同。我们观察到，事实上，我们的世界并不是越往下越好。我们希望变得非常好，尽可能好，但我们的世界实际上是越往上越好。并行计算、并行处理很难，因为每个算法都需要一种不同的方式重构和重新设计架构算法。

人们没有意识到的是，你可以拥有三个不同的ISA（指令集架构）、CPU ISA。它们都有自己的C编译器，你可以使用软件并编译到该ISA。这在加速计算中是不可能的，这在并行计算中是不可能的。提出架构的公司必须提出自己的OpenGL。

因此，我们凭借名为CUDNN的领域特定库彻底改变了深度学习。如果没有CUDNN，就没有人会谈论它，因为它是PyTorch和TensorFlow下面的一层，在过去，它是CAFE和Theano，现在是Triton。有很多不同的框架。因此，特定领域的库CUDNN、特定领域的库Optics，我们有特定领域的库CuQuantum、Rapids，领域列表继续增加。

主持人：

行业特定的算法位于所有人都关注的 PyTorch 层之下。正如我常听到的…

黄仁勋：

如果没有发明 LLM，那么上面的任何应用程序都无法运行。NVIDIA 之所以出色，正是因为我们在数学和算法方面的优势。在科学和底层架构的结合上，我们同样非常擅长。

主持人：

现在，所有注意力终于集中在推理上。我记得，两年前，布拉德和我与你共进晚餐，曾问了一个问题：你认为在推理方面的护城河会像在训练方面一样强大吗？

黄仁勋：我确信它会更大。

主持人：你刚才提到了很多元素，比如可组合性等。对于客户来说，在两者之间保持灵活性是非常重要的。既然我们处于推理时代，你能否谈谈相关内容？

黄仁勋：

推理本质上就是大规模训练。因此，如果你训练得好，很可能推理也会很好。如果你在这个架构上构建它，即使没有特别的考虑，它也会在这个架构上运行。虽然可以针对其他架构进行优化，但由于已经在 NVIDIA 上构建，它至少会在 NVIDIA 上运行。

另一个方面是资本投资。当你训练新模型时，自然希望使用最新的设备，这就留下了你昨天使用的设备，而这些设备非常适合推理。与 CUDA 兼容的新基础设施背后，有一系列免费设备和基础设施。我们严格确保兼容性，以便现有系统保持卓越。

同时，我们投入大量精力重新发明新算法，以确保 Hopper 架构比购买时更好。我们的基础设施因此持续高效。改进的新算法和新架构提升了每一个已安装的基础，包括 Hopper、Ampere，甚至 Volta。Sam 刚刚告诉我，他们最近才停用了 OpenAI 的 Volta 基础设施。因此，我认为我们已经为安装基础打下了痕迹。就像所有计算一样，安装基础非常重要。NVIDIA 的技术存在于每一个云，并一直延伸到边缘设备。因此，在云端创建的 Vela 视觉语言模型无需修改即可在机器人的边缘完美运行，并且完全兼容 CUDA。

我认为架构兼容性对于大型系统来说至关重要，无论是 iPhone 还是其他设备。我相信安装基础对于推理过程非常重要。然而，真正让我们受益的是，当我们训练这些大型语言模型及其新架构时，我们能思考如何在未来的某个时机创建在推理方面表现出色的架构。

因此，我们一直在研究推理模型的迭代模型，以及怎样为用户的个人代理创建互动性强的推理体验。您不希望在说完话之后还要等待片刻才能得到响应，您希望它能快速与您互动。那么，我们如何创建这样的系统呢？最终的成果就是 NVLink。

NVLink 让我们能够利用这些非常适合训练的系统，而在您完成训练后，推理性能也能达到非常出色的水平。因此，优化到第一个标记的时间非常重要。实际上，这一过程非常困难，因为到第一个标记的时间需要大量带宽。如果您的上下文也很丰富，那么您会需要大量的触发器。因此，您需要无限量的带宽和触发器才能实现几毫秒的响应时间。

我们为此发明了 Grace Blackwell NVLink。

主持人：

由于时间关系，这里还有更多问题。

黄仁勋：听着。让我们一直做下去，直到做对为止。

主持人：

我喜欢这种做法。现在我们不必担心时间了。

本周早些时候我和安迪·贾西碰面，他提到我们即将推出 Tranium 和 Inferencia。我认为大多数人可能觉得这对 NVIDIA 是个问题。但他接着说，NVIDIA 是我们的重要合作伙伴，并将继续是我们的重要合作伙伴。据我所知，未来世界将依靠 NVIDIA 的技术运行。

因此，当您考虑构建定制的 ASIC 时，它们将用于特定应用，比如 Meta 的推理加速器、亚马逊的 Tranium 或者谷歌的 TPU。关于供应短缺的问题，我们需要思考这些新的技术动态是否会改变现状，或者它们是否只是对现有系统的一种补充。

黄仁勋：

我们现在正在做的是不同的事情，具体来说，NVIDIA 正在为一个全新的世界构建计算平台，这个世界包括机器学习、生成 AI 和代理 AI 等。

经过 60 年的计算，我们深刻地重塑了整个计算堆栈。无论是从编程到机器学习，还是从 CPU 向 GPU 的转变，以及从传统软件到人工智能的演变，应用程序的形式都在改变。因此，计算堆栈和技术堆栈的各个方面都发生了剧变。

我们的目标是创建一个可以随时随地使用的计算平台，这正是我们工作复杂性的源泉。我们正在构建整个人工智能基础设施，并将其视作一台完整的计算机。我曾说过，现在的数据中心是计算的单位。当我想到一台计算机时，关注的不仅是芯片，而是整个系统：所有的软件、编排和内部的机器，构成了我的计算机。

我们每年都在努力创造一台新的计算机，其性能提升两到三倍，成本降低两到三倍，能源效率提高两到三倍。这种进步令人难以置信。因此，我们建议客户逐年分批购买新设备，以维持在成本上的平均水平，这样做的好处是在架构上保持兼容性。

目前，以我们这样的改进速度来构建单独的系统是非常困难的，而且双重困难之处在于，我们不仅仅将这些创新作为基础设施或服务出售，而是将它们全部分解并集成到多个平台中，比如 GCP、AWS、Azure 和其他服务中。这种做法确实是有意义的。每个人的集成都各不相同。我们必须将所有的架构库、算法和框架集成到他们的系统中，包括我们的安全系统和网络。我们基本上每年都进行十次这样的集成。

这就是奇迹。这种每年的尝试让我感到疯狂，想想这件事我就快要疯了。

主持人：

那么，是什么驱使你每年这样做呢？

克拉克刚刚从台北、韩国和日本回来，与你们所有的供应伙伴会面，你们与他们有长达十年的关系。这些关系对于构建竞争护城河的组合数学有多重要？

黄仁勋：

当你系统地分解时，越是分解，大家就越惊讶于整个电子生态系统如何致力于与我们合作，以构建一个集成到所有不同生态系统中的计算机立方体，并实现无缝协调。我们向后传播了 API、方法、业务流程和设计规则，同时向前传播方法、架构和 API，这些已经固化并随着我们的发展而不断演变。

这些 API 必须结合在一起，最后，台湾和世界各地制造的所有东西都会在 Azure 数据中心结合在一起。

主持人：

人们只需调用 OpenAI API，它就可以工作。

黄仁勋：

没错。这是一个完整的链条，是我们发明的庞大计算基础设施。整个地球都在与我们合作，它已经融入每一个地方。

该系统可以通过戴尔和 HPE 销售，托管在云端，并一直接近边缘。现在，人们在机器人系统和自动驾驶汽车中使用它，它们在架构上都是兼容的。相当疯狂。

克拉克，我不想让你觉得我没有回答这个问题。事实上，我回答了。关于ASIC的部分，我指的是我们正在做一些不同的事情。作为公司，我们希望了解具体情况，并且我对公司和生态系统周围的一切都了如指掌。我清楚其他人在做什么，有时这对我们有利，有时则不然。我非常清楚这一点，但这并没有改变公司的目标。公司的唯一目标是构建一个能够无处不在的平台架构。

NVIDIA的定位是做市商，而非从任何人那里夺取市场份额。如果你查看我们的幻灯片，会发现我们从不谈论市场份额。内部讨论的都是我们如何创造下一个事物？下一个可以在飞轮中解决的问题是什么？如何更好地为人们服务？如何将过去可能需要一年的飞轮缩短到一个月？在考虑这些不同事情的同时，我们确信我们的使命非常独特。唯一的问题是这项使命是否必要。

所有伟大的公司都应该以使命为核心，关键在于你在做什么，以及这是否必要、是否有价值、是否具有影响力和帮助他人。我相信你作为一家生成式人工智能初创公司的开发人员，正在决定如何成为一家公司。你不必立即选择支持哪家ASIC，选择Akuta意味着你可以随时改变主意，而我们是通往人工智能世界的入口。一旦你决定加入我们的平台，其他决定可以推迟。在与所有GCP、Azure合作时，我们也提前几年向他们展示我们的路线图，他们从未向我们展示他们的ASIC路线图，但这从未冒犯过我们。如果您有一个唯一且有意义的目标，并且您的使命对您和他人都很珍贵，那么您就可以保持透明。我在 GTC 上的路线图是公开的，而在 Azure、AWS 等方面的合作伙伴看到的路线图则更加深入。我们在这些平台上的工作没有问题，即使他们也在制造自己的 A6。

主持人：

我认为，当人们关注业务时，会说最近对 Blackwell 的需求是疯狂的。在工作中，最困难的部分之一是在无法提供足够的计算资源时对人们说“不”，这会带来情感上的负担。然而，批评者认为这只是暂时现象，就像 2000 年的思科一样，认为我们在过度建设光纤，预示着繁荣与萧条并存。

令我想起了 2023 年初的一次晚宴。在 1 月 23 日的晚宴上，NVIDIA 预测 2023 年的收入将达到 260 亿美元，然而最终收入为 600 亿美元。

黄仁勋：

诚实地说，这是历史上最大的预测失败之一，我们是否至少可以承认这一点？这是我的看法。

主持人：

在 2022 年 11 月，我们非常兴奋，因为 Inflection.AI 的 Mustafa 和 Character.AI 的 Noah 等人来访，讨论对他们公司的投资。他们提到，如果不能投资他们的公司，那就投资 NVIDIA 吧，因为全球都在使用 NVIDIA 芯片来开发可能改变世界的应用程序。当然，寒武纪时刻出现在 ChatGPT 上。然而，那时的 25 位分析师过于专注于加密货币赢家，以至于无法察觉世界上的变化。最终，事情变得更大了。

您以简单的语言描述了对 Blackwell 的需求极其旺盛，并认为这种情况将持续下去。当然，未来是未知的。那么，为什么批评者会错误地预判这不会是像思科 2000 年那样的过度建设呢？

黄仁勋：

思考未来的最佳方式是从第一原则出发进行推理。那么，我们正在做的事情的第一原则是什么？首先，我们在做什么？答案是，我们正在重新发明计算。我们刚才提到，未来的计算方式将高度依赖于机器学习。几乎我们所做的一切，每一个应用程序，如Word、Excel、PowerPoint、Photoshop、Premiere、AutoCAD等，都会高度机器学习化。不论你现在使用的应用程序多么手工化，我可以保证，未来它也将转向机器学习化。

所有这些工具的重要性在于，你将拥有机器和智能代理来帮助你使用它们。我们的计算方式已经被重新发明，不会回头。整个计算技术堆栈已经被改造。因此，我们预见软件的开发、内容和使用方式将会有所不同。这是我们当前的基本事实。

接下来我们要思考的是，会发生什么变化？回顾过去，我们曾经有价值一万亿美元的计算机系统。当时我们可能会思考，这些系统是否是我们需要的？放到未来的背景下，答案显然是否定的。我们过去的数据中心拥有大量的CPU，我们知道它们的能力和限制。现在，我们需要将这些价值一万亿美元的数据中心进行现代化改革，这是合理和明智的步骤。

在与那些需要进行现代化改革的人进行对话时，他们正在使用GPU进行这一转变。那么，如果你有500亿美元的资本支出选择，你会选择选项A或B？是为未来构建资本支出，还是像过去一样？现在，过去的资本支出已经摆在那里，摩尔定律几乎走到了尽头。因此，我们需要拿出500亿美元，投入到生成式人工智能中，这会使你的公司更具竞争力。我会投入500亿美元的全部，因为我已经有了四年的基础设施，这是过去的投资。现在，我是从第一原理思考出发来推理，这是他们正在做的事情。聪明人做聪明事。接下来，我们有价值一万亿美元的产能可以建设，以及价值数万亿美元的基础设施。投入1500亿美元怎么样？对。我们在未来四、五年内有价值一万亿美元的基础设施要建设。

我们注意到的第二件事是，软件的编写和使用方式都在变化。未来，我们将有代理，还有数字员工。在收件箱里你会看到这些小点和小脸，未来会出现人工智能的小图标。我不再用C++来编程计算机，而是用提示来编程AI。

这与我日常的沟通方式没什么不同。今天早上，我写了很多电子邮件，提示我的团队。我要描述背景、基本限制和任务，并充分指导他们，以便了解我的需求，尽可能清楚地沟通预期结果。同时，我留出了足够的模糊空间和创意空间，让他们能够带给我惊喜。这和我提示人工智能的方式没有什么不同。

在我们要现代化的IT基础设施之上，将会有一个新的基础设施，即操作这些数字人类的人工智能工厂。它们将全天候运行，我们将为全球各地的公司提供它们。这些人工智能将存在于工厂和自主系统中。因此，世界需要创建一整层计算结构，我称之为人工智能工厂，而这些在今天是不存在的。问题是，它有多大？目前还不知道，可能有几万亿美元。虽然还没有明确答案，但令人振奋的是，我们现在建造的新数据中心的现代化架构与人工智能工厂的架构相同，这是一件好事。

主持人：

你已经说清楚了。你必须更新大约一万亿的旧技术，同时至少有一万亿的新人工智能工作负载即将来临。

大致来说，今年你的收入将达到1250亿美元。有人曾经说过，公司的价值永远不会超过10亿美元。Tam，今天你坐在这里，如果你的市值是数万亿美元中的1250亿美元，那么未来的收入有什么理由不达到现在的两倍或三倍呢？有什么原因让你的收入达不到这个水平吗？

黄仁勋：

如你所知，公司规模受限于市场的大小，就像金鱼只能长到鱼塘的大小。那么，我们的市场是什么？这需要很多想象力。这就是做市商需要考虑未来并创造新市场的原因。回顾过去并试图扩大市场份额是很困难的，因为市场份额的占有者只能做到这么大。然而，做市商的规模可以相当大。

我认为我们的好运在于，从公司成立之初，我们就必须创造一个市场来发展。当时，我们正处于创造3D游戏PC市场的起步阶段。我们基本上发明了这个市场、生态系统以及显卡的整个生态。为一个新的市场进行发明以便更好地服务，这对我们来说非常自然。

主持人：

与创造新市场的人对话后，我们稍微转向模型和OpenAI。正如你所知，OpenAI本周以1500亿美元的估值筹集了65亿美元。我们都参与了其中，真的为他们感到高兴。他们的立场非常出色，团队也表现得很好。据报道，他们今年的收入或营业收入将达到约50亿美元，明年可能会达到100亿美元。如果你观察他们现在的业务，其收入大约是谷歌首次公开募股时的两倍。他们每周平均有2.5亿用户，我们估计这也是谷歌首次公开募股时的两倍。

如果你考虑业务的倍数，并相信明年会达到100亿美元，那么大约是预期收入的15倍，类似于谷歌和Meta首次公开募股时的倍数。想象一下，一家22个月前收入为零、每周平均用户为零的公司。Brad对历史了如指掌。

请与我们谈谈OpenAI作为合作伙伴对你的重要性，以及OpenAI作为推动公众对人工智能认识和使用的重要力量。

黄仁勋：

这是我们这个时代最重要的公司之一，是一家追求AGI愿景的纯人工智能公司。无论其定义是什么，我并不认为定义和时机完全重要。我知道，随着时间推移，人工智能将拥有一个能力路线图，而这个路线图会非常壮观。在此过程中，早在它达到任何人的AGI定义之前，我们就会充分利用它。

现在，我们与数字生物学家、气候技术研究人员、材料研究人员、物理科学家、天体物理学家、量子化学家，以及视频游戏设计师、制造工程师、机器人专家等各行业的重要人物交谈，询问人工智能是否彻底改变了他们的工作方式。然后从中获取这些数据点，回过头来问自己，你想保持多大的怀疑态度？因为他们谈论的不是人工智能有朝一日的概念性好处，而是现在就正在使用人工智能。

无论是农业技术、材料技术还是气候技术，你选择你的技术领域，选择你的科学领域，人工智能正在帮助他们推进工作。在每一个行业、每一个公司、每一所大学，人工智能正在以某种方式改变商业。这真是难以置信，不是吗？我们知道这一点。这种变化是如此真实，仿佛今天就正在发生。因此，我认为ChatGPT的引入标志着人工智能的觉醒，这是难以置信的。我欣赏他们的速度以及推动这一领域发展的独特目标，这非常重要。

主持人：

他们建立了一个经济引擎，可以为下一代模型的前沿发展提供资金。

我认为硅谷的很多人都开始一致认为，整个模型层正在走向商品化。Lama让很多人能够以非常低的成本建立模型。在早期，我们有很多模范公司，如Character、Inflection、Cohere和Mistral。很多人质疑这些公司是否能在经济引擎上达到逃逸速度，从而继续为下一代提供资金。我个人认为，这就是我们看到整合的原因。Open AI显然已经达到了逃逸速度，他们可以为自己的未来提供资金。我不清楚其他许多公司是否能做到这一点。

这是对模型层现状的一个公平评估吗？就像在许多其他市场中一样，我们将整合提供给那些负担得起并且拥有经济引擎和应用程序的市场领导者，让他们能够继续投资？

黄仁勋：

首先，我们要明白，模型和人工智能之间有根本的区别。模型是人工智能的基本要素，它是必要的，但不是充分的。人工智能具备一种能力，但问题是它用于什么目的。举例来说，自动驾驶汽车的人工智能与人类或机器人的人工智能相关，但却并不相同，这与聊天机器人的人工智能相关但也不尽相同。因此，我们必须了解堆栈的分类。

在堆栈的每一层都有机会，但不是每一层都为每个人提供无限的机会。现在，我要说的重点是可以将“模型”这个词替换为“GPU”。这实际上是我们公司32年前的一项重要观察。GPU、图形芯片或GPU与加速计算之间存在着根本的区别。加速计算与我们在AI基础设施方面所做的工作不同。两者有关联，但并不完全相同，它们是相互叠加的。在每一层的抽象中都需要不同的基本技能。擅长构建GPU的人未必知道如何成为一家加速计算公司，尽管有很多人都在构建GPU。我们发明了GPU，但我们不是唯一一家制造GPU的公司。虽然GPU无处不在，但它们并不是用于加速计算的公司。许多人使用它们来进行应用程序加速，但这与加速计算公司不同。因此，非常专业的AI应用程序可能会非常成功，这就是MTIA。但它可能不是那种拥有广泛影响力和广泛能力的公司。你必须决定你想去哪里。所有这些不同的领域可能都有机会，但就像建立公司一样，你必须注意生态系统的转变以及随着时间的推移哪些东西会被商品化。你需要认识到什么是功能、什么是产品、什么是公司。

主持人：

当然，有新的市场进入者拥有资金、智慧和野心。例如，x.ai就是这样的一个公司。有报道称，我和Larry以及Elon共进晚餐，他们说服我提供100,000辆H100。他们在孟菲斯建造了一个大型超级集群。首先，因果关系是存在的。你认为他们建立超级集群的能力如何？

有传言说他们想要另外100,000台H200，以扩大超级集群的规模。首先让我们谈谈x和他们的抱负以及取得的成就。我们是否已经到了200,000和300,000 GPU集群的时代？

黄仁勋：

答案是肯定的。我们应当承认从概念产生，到为NVIDIA准备好设备的数据中心，再到启动、连接并进行首次训练，这之间取得的成就是不容小觑的。短时间内建造了一个巨大的工厂，采用液体冷却、通电和许可，这是非常了不起的。据我所知，世界上只有一个人能做到这一点，那就是Elon。他对工程、建筑、大型系统和资源调配的理解是独一无二的，令人难以置信。然后，当然，他的工程团队也很出色。软件团队、网络团队和基础设施团队都非常优秀。埃隆对此深有体会。

从我们决定出发的那一刻起，我们与工程团队、网络团队、基础设施和计算团队、软件团队一起进行了规划，提前做好所有准备，包括所有基础设施、所有物流以及当天运来的大量技术和设备。NVIDIA 的基础设施和计算基础设施以及所有这些技术都参与了训练。

用时19天。毫无疑问，没有人有充足的休息。但首先，19天是不可思议的。从另一个角度看，你知道19天是多少天吗？这只是几个星期。没错。如果你亲眼目睹，你会发现使用的技术数量令人惊叹。所有的布线和网络架构，NVIDIA 设备的网络与超大规模数据中心的网络非常不同。

一个节点中的电线数量，计算机背后的电线，令人难以置信地复杂。这项技术与所有软件的整合非常了不起。我非常感谢 Elon 和 X 团队，他们完成的工程工作、规划工作以及所有其他内容是独一无二的，以前从未有人做到过。

简单来说，使用 100,000 个 GPU 作为一个集群，无疑是地球上最快的超级计算机。建造一台超级计算机通常需要三年的规划时间，然后需要一年的时间让设备全部运转起来。我们在19天内完成了这项工作。

主持人：

这要归功于 NVIDIA 平台，整个流程都得到了强化。

黄仁勋：