细分以及您的产品组合如何定位？谢谢。 黄仁勋 是的。多谢。那么让我们快速退后一步。这些大型语言模型相当惊人。当然，它可以做几件事。它具有理解非结构化语言的能力。但其核心是，它学到的是人类语言的结构。它已经编码或压缩了它通过研究的语料库学到的大量人类知识。发生的情况是，您创建了这些大型语言模型，并且创建了尽可能大的语言模型，然后从中派生出模型的较小版本，本质上是师生模型。这是一个称为蒸馏的过程。 因此，当你看到这些较小的模型时，很可能它们是从较大的模型派生、提炼或学习的，就像你有教授、老师和学生等等。未来你将会看到这一点。因此，您从一个非常大的模型开始，它具有大量的通用性和泛化性以及所谓的零样本能力。因此，对于许多您没有专门训练过的应用程序、问题或技能，这些大型语言模型奇迹般地有能力执行它们。这就是它如此神奇的原因。 另一方面，您希望在各种计算设备中都具有这些功能，因此您要做的就是将它们提炼出来。这些较小的模型可能在特定技能上具有出色的能力，但它们也不能概括。他们不具备所谓的良好的零射击能力。因此，它们都有自己独特的功能，但您是从非常大的模型开始的。 维韦克·艾莉亚 谢谢。只是进行了快速澄清和提问。Colette，能否请您澄清一下您预计明年上线的增量供应量是多少？你认为上涨了20%、30%、40%、50%？所以，你知道供应量有多少，因为你说供应量每个季度都在增长。 然后 Jensen，你的问题是，当我们查看超大规模的总体支出时，购买量并没有真正增长那么多。那么，是什么让您有信心他们能够继续为生成人工智能做出更大的贡献呢？请告诉我们，当我们展望未来一到两年时，这种需求的可持续性如何？因此，如果我按照您隐含的数据中心第三季度前景预测，即 120 亿美元、130 亿美元，这说明有多少服务器已经进行了 AI 加速？那要去哪里？因此，只要相信您所看到的增长在未来一到两年内可持续即可。 科莱特·克雷斯 感谢您提出有关我们供应的问题。是的，我们确实预计在接下来的几个季度以及下一财年继续增加我们的供应。就百分比而言，我们这里没有。这是一项涉及许多不同供应商、构建 HGX 以及我们即将上市的许多其他新产品的许多不同部分的工作。但我们对供应商的支持以及我们与他们一起改善供应的长期合作感到非常满意。 黄仁勋 全球已安装了价值约 1 万亿美元的数据中心，分布在云、企业和其他地方。价值 1 万亿美元的数据中心正在转型为加速计算和生成人工智能。我们同时看到两个同步平台转换。一是加速计算。原因是它是目前最具成本效益、最节能和最高效的计算方式。 所以你所看到的，然后突然之间，由生成式人工智能、由加速计算和生成式人工智能支持的出现了。这个令人难以置信的应用程序现在为每个人提供了两个理由，以实现从通用计算（传统的计算方式）到这种新的计算方式（加速计算）的平台转变。数据中心每年的资本支出约为 1 万亿美元，即 0.25 万亿美元。 您会看到世界各地的数据中心正在将资本支出集中在当今计算的两个最重要的趋势上，即加速计算和生成人工智能。所以我认为这不是近期的事情。这是一个长期的行业转型，我们看到这两个平台转变同时发生。 史黛西·拉斯冈 嗨，大家好。感谢您提出我的问题。我想知道 Colette，您能否告诉我本季度的数据中心有多少，甚至可能指南就像系统与 GPU，就像 DGX 与 H100 一样？我真正想要了解的是，定价或内容有多少，或者你想如何定义[音频不清晰]，与实际推动未来增长的单位相比。你能给我们一些关于它的颜色吗？ 科莱特·克雷斯 当然，史黛西。让我来帮忙。在本季度内，我们的 HGX 系统是我们数据中心以及我们所看到的数据中心增长的非常重要的一部分。这些系统包括我们的 Hopper 架构的 HGX，以及我们的 Ampere 架构。是的，我们仍在市场上销售这两种架构。现在，当您考虑这一点时，这对两个系统作为一个整体意味着什么，当然，这两个系统都在大幅增长，并且这推动了收入的增长。因此，这两件事都是数据中心内部收入的驱动因素。 我们的 DGX 始终是我们将销售的附加系统的一部分。对于企业客户和我们在消费者互联网公司中看到的许多其他不同类型的客户来说，这些都是巨大的机会。与我们随 DGX 一起销售的软件相结合也很重要，但这是我们正在进行的销售的一部分。其余的 GPU，我们有新的 GPU 即将上市，我们谈论的是 L40S，它们将在未来带来持续的增长。但同样，上个季度我们收入的最大推动力无疑是 HGX 系统。 黄仁勋 史黛西，如果我可以补充一些东西的话。你说它是H100，我知道你知道你心目中的形象是什么。但 H100 由 35,000 个零件、70 磅、近 1 万亿个晶体管组合而成。需要一个机器人来建造——嗯，需要建造很多机器人，因为它要举起 70 磅。测试超级计算机需要超级计算机。因此，这些东西都是技术奇迹，而且它们的制造确实非常密集。因此，我认为我们将其称为 H100，就好像它是从晶圆厂生产的芯片一样，但 H100 实际上是作为 HGX 发送给世界各地的超大规模企业而推出的，如果你愿意的话，它们确实是非常非常大的系统组件。 马克·利帕西斯 你好。感谢您提出我的问题并祝贺我的成功。Jensen，这似乎是成功的关键部分——您在市场上的成功在于提供软件生态系统以及芯片和硬件平台。我对此有一个由两部分组成的问题。我想知道您是否可以帮助我们了解您的软件生态系统的演变以及关键要素。有没有一种方法可以量化您在这个维度上的领先地位，例如您投入了多少人年来构建它？然后是第二部分，我想知道您是否愿意与我们分享您对以下问题的看法：硬件差异化与软件差异化在 NVIDIA 平台的价值中所占的比例是多少？谢谢。 黄仁勋 是的，马克，我真的很感激这个问题。让我看看是否可以使用一些指标，这样我们就有一个名为 AI Enterprise 的运行时。这是我们软件堆栈的一部分。如果您愿意的话，这就是几乎每个公司用于从数据处理进行端到端机器学习的运行时间，以及您想要在任何框架上进行的任何模型的训练、推理和部署，将其扩展到数据中心。它可能是超大规模数据中心的横向扩展。它可以是企业数据中心的横向扩展，例如在 VMware 上。 您可以在我们的任何 GPU 上执行此操作。我们在现场拥有数亿个 GPU，在云端以及几乎每个云中拥有数百万个 GPU。它可以在单 GPU 配置以及每个计算或多节点的多 GPU 配置中运行。每个 GPU 还具有多个会话或多个计算实例。因此，从每个 GPU 多个实例到多个 GPU、多个节点到整个数据中心规模。因此，这个名为 NVIDIA AI enterprise 的运行时拥有大约 4,500 个软件包、软件库，并且彼此之间具有大约 10,000 个依赖项。 正如我所提到的，运行时间针对我们堆栈的安装基础不断更新和优化。这只是加速计算发挥作用所需的示例之一。代码组合的数量和应用程序组合的类型确实相当疯狂。我们花了二十年才走到这一步。但如果你愿意的话，我认为我们公司的要素可能有几个。我想说第一是建筑。 我们架构的灵活性、多功能性和性能使我们能够完成我刚才所说的所有事情，从数据处理到训练到推理，在推理之前对数据进行预处理，再到后期处理。数据，语言标记化，以便您可以用它进行训练。工作流程的数量比训练或推理要密集得多。但无论如何，这就是我们关注的焦点，这很好。但当人们实际使用这些计算系统时，需要大量的应用程序。因此，我们的架构组合使我们能够提供最低的拥有成本。原因是我们加速了许多不同的事情。 我们公司的第二个特点是安装基础。你要问自己，为什么所有的软件开发者都来到我们的平台？原因是软件开发人员寻求庞大的安装基础，以便能够接触到最大数量的最终用户，从而可以建立业务或获得投资回报。 第三个特征是覆盖范围。今天我们在云中，无论是公共云还是面向公众的云，因为我们有这么多的客户在使用——这么多的开发人员和客户在使用我们的平台。通信服务提供商很高兴将其放置在云端。他们将其用于内部消费，以开发、培训和操作推荐系统或搜索或数据处理引擎等等，直至培训和推理。所以我们在云中，我们在企业中。 昨天，我们宣布了一个非常重大的消息。确实值得一看。VMware 是全球企业的操作系统。我们已经合作了好几年了，我们将齐心协力，将生成式人工智能带给世界各地的企业，直至边缘。因此，影响力是另一个原因。由于影响范围广，全球所有系统制造商都渴望将 NVIDIA 的平台放入他们的系统中。因此，由于我们的影响力，我们拥有来自世界各地的 OEM 和 ODM 等的非常广泛的分销。 最后，由于我们的规模和速度，我们能够在所有这些不同的使用模型和不同的计算环境中维持这个非常复杂的软件和硬件、网络和计算堆栈。我们能够在加快工程速度的同时完成这一切。我们似乎每两年就会引入一种新架构。现在，我们大约每六个月就会推出一种新架构、一种新产品。因此，这些特性使生态系统能够在我们之上建立他们的公司和业务。因此，这些因素的结合使我们变得与众不同。 阿蒂夫·马利克 你好。感谢您回答我的问题。在结果和前景方面做得很好。Colette，我有一个关于你们谈论的核心 L40S 的问题。您知道 L40S 能在多大程度上缓解供应紧张问题吗？您能否谈谈该产品的增量盈利能力或毛利率贡献？谢谢。 黄仁勋 是的，阿提夫。让我帮您拿一下。L40S 确实是为不同类型的应用而设计的。H100 专为大规模语言模型而设计，仅处理非常大的模型和大量数据。所以这不是 L40S 的重点。L40S 的重点是能够微调模型，微调预训练模型，它会做得非常好。它有一个变换引擎。它有很多性能。您可以在一台服务器中获得多个 GPU。它专为超大规模横向扩展而设计，这意味着可以轻松地将 L40S 服务器安装到世界超大规模数据中心。它采用标准机架、标准服务器，一切都是标准的，因此易于安装。 L40S 还包含围绕它的软件堆栈以及 BlueField-3 以及我们与 VMware 所做的所有工作以及我们与 Snowflakes 和 ServiceNow 以及许多其他企业合作伙伴所做的工作。L40S专为全球企业IT系统而设计。这就是为什么 HPE、戴尔、联想以及其他大约 20 家系统制造商构建了大约 100 种不同配置的企业服务器，将与我们合作，将生成式 AI 引入全球企业。因此，如果您愿意的话，L40S 确实是为不同类型的横向扩展而设计的。当然，这是大型语言模型。当然，它是生成式人工智能，但它是一个不同的用例。因此，L40S 将是一个良好的开端，世界各地的企业和超大规模企业都迫切希望部署 L40S。 约瑟夫·摩尔 伟大的。谢谢。我想这些数字对我来说如此引人注目的是与您的一些客户交谈后仍未满足的需求量。尽管这些数字不错，但您的收入在几个季度内增加了两倍多。在某些情况下，人们所获得的需求是数倍的。那么你能谈谈这个吗？您认为还有多少未满足的需求？您谈到了明年的可见性。当你看到这里的供需平衡时，你能看到吗？ 黄仁勋 是的。我们全年和明年都有良好的能见度。我们已经与领先的通信服务提供商和数据中心建设者一起规划下一代基础设施。需求——思考需求的最简单方式，世界正在从通用计算向加速计算过渡。这是考虑需求的最简单方法。企业提高吞吐量、提高能源效率、提高成本效率的最佳方式是将资本预算转移到加速计算和生成式人工智能上。因为通过这样做，您将从 CPU 上卸载大量工作负载，但数据中心中的可用 CPU 将会得到提升。 因此，你现在看到的公司所做的就是认识到这一点——这里是转折点，认识到这一转变的开始，并将其资本投资转向加速计算和生成人工智能。因此，这可能是思考我们面前的机会的最简单的方法。这不是一个推动需求的单一应用程序，但这是一个新的计算平台，如果你愿意的话，这是一个正在发生的新的计算转变。世界各地的数据中心正在对此做出反应并进行广泛的转变。 哈里敏也 你好。感谢您提出问题。我向 Colette 提出了一个快速澄清的问题，然后向 Jensen 提出了另一个问题。Colette，我记得上个季度，您曾说过 CSP 约占您数据中心收入的 40%，消费者互联网占 30%，企业占 30%。根据您的评论，听起来 CSP 和消费者互联网可能在您的业务中所占的比例更大。如果您能澄清或确认这一点，那将非常有帮助。 然后是詹森，问你一个问题。考虑到您作为人工智能关键推动者的地位、参与的广度以及您对客户项目的可见性，我很好奇您对有足够的应用程序或用例为您的客户带来合理的回报有多大信心？投资。我想我问这个问题是因为有人担心未来几年您的需求状况可能会有所停顿。很好奇是否有足够的广度和深度来支持您的数据中心业务的持续增长。谢谢。 科莱特·克雷斯 好的。谢谢你，Toshiya，关于我们数据中心业务中的客户类型的问题。我们从将计算和网络结合在一起的角度来看待它。我们的 CSP、我们的大型 CSP 在第二季度贡献了我们收入的 50% 以上。下一个最大的类别将是我们的消费互联网公司。最后一部分将是我们的企业和高性能计算。 黄仁勋 Toshi，我不愿意猜测未来，所以我将从计算机科学第一原理的角度来回答这个问题。一段时间以来，人们认识到通用计算并不是强制通用计算。大规模使用通用计算不再是前进的最佳方式。它的能源成本太高，太昂贵，而且应用程序的性能太慢。 最后，世界有了一种新的实现方式。这就是所谓的加速计算，而推动它加速发展的是生成式人工智能。但加速计算可用于数据中心已有的各种不同应用程序。通过使用它，您可以减轻 CPU 的负担。您可以节省大量资金、成本和能源，并且吞吐量更高，这就是行业真正的反应。 展望未来，投资数据中心的最佳方式是将资本投资从通用计算上转移出来，集中到生成式人工智能和加速计算上。生成式 AI 提供了一种提高生产力的新方式、一种生成为客户提供的新服务的新方式，而加速计算可帮助您节省资金和电力。申请的数量是成吨的。很多开发人员、很多应用程序、很多库。它已准备好部署。 因此，我认为世界各地的数据中心都认识到这一点，这是部署资源、为数据中心部署资本的最佳方式。对于全世界的云来说都是如此，您会看到一大批新的 GPU 专业——GPU 专业云服务提供商。其中著名的公司之一是 CoreWeave，他们做得非常好。但您现在看到的区域 GPU 专业服务提供商遍布世界各地。正是因为他们都认识到同一件事，未来投资资本的最佳方式是将其投入加速计算和生成人工智能。 我们也看到企业希望这样做。但为了让企业做到这一点，你必须支持企业的管理系统、操作系统、安全性和软件定义的数据中心方法，而这就是VMware。我们多年来一直与VMware合作，使VMware不仅支持CPU虚拟化，还支持GPU虚拟化以及GPU的分布式计算能力，支持NVIDIA的BlueField高性能网络。 我们一直在开发的所有生成式 AI 库现在都将由 VMware 销售人员作为特殊 SKU 提供，众所周知，该销售人员规模相当大，因为它们覆盖了全球数十万 VMware 客户。世界。这个新的 SKU 将被称为 VMware Private AI Foundation。而这将是一个让企业成为可能的新SKU。结合惠普、戴尔和联想基于 L40S 的新服务器产品，任何企业都可以拥有最先进的人工智能数据中心，并能够参与生成式人工智能。 因此，我认为这个问题的答案很难准确预测每个季度会发生什么。但我认为现在我们看到了平台的转变，趋势非常非常明显。 蒂莫西·阿库里 多谢。您能谈谈您的网络解决方案与您正在运输的计算的连接率吗？换句话说，您的网络解决方案的计算量的一半是多于一半，还是少于一半？您是否可以使用它来确定 GPU 分配的优先级？谢谢。 黄仁勋 好吧，反过来看，我们不会用它来确定 GPU 分配的优先级。我们让客户决定他们想要使用什么网络。对于正在构建超大型基础设施的客户来说，InfiniBand（我不想这么说）是理所当然的选择。其原因在于 InfiniBand 的效率非常显着，对于 10 亿美元的基础设施而言，吞吐量提高约 10%、15%、20% 可以转化为巨大的节省。基本上，网络是免费的。 因此，如果您有一个应用程序（如果您愿意）、基础设施或者主要致力于大型语言模型或大型人工智能系统，那么 InfiniBand 确实是一个绝佳的选择。然而，如果您为许多不同的用户托管，并且以太网确实是您管理数据中心方式的核心，那么我们最近刚刚宣布了一个出色的解决方案，它被称为 Spectrum-X。好吧，如果您愿意的话，我们将把 InfiniBand 的功能（不是全部，而是其中的一部分）引入以太网，这样我们也可以在以太网环境中，让您能够 – 让您能够获得卓越的生成人工智能能力。 所以 Spectrum-X 现在才刚刚起步。它需要 BlueField-3，并且支持我们的 Spectrum-2 和 Spectrum-3 以太网交换机。而且附加的性能确实非常惊人。BlueField-3 以及与之配套的一整套软件使之成为可能。正如你们所知，BlueField 是一个我非常珍视的项目，而且它只是一个巨大的开始。我认为这是一个本垒打。这就是网络内计算的概念，将大量软件放入计算结构中正在通过 BlueField-3 实现，这将是一个本垒打。 本杰明·雷茨 你好。下午好。晚上好。谢谢你的提问，让我来到这里。我的问题是关于 DGX Cloud 的。您能谈谈您所看到的反响以及势头如何吗？Colette，您能谈谈您的软件业务吗？目前的运行率以及该业务的重要性是多少？看起来它确实已经对利润率有所帮助。非常感谢。 黄仁勋 DGX Cloud 的策略，让我从这里开始。DGX Cloud 的战略是实现几件事：第一，使我们与世界各地的 CSP 之间建立真正密切的合作伙伴关系。我们认识到，我们的许多公司与世界各地约 30,000 家公司合作。其中 15,000 家是初创公司。其中有数千家是生成式人工智能公司，而增长最快的领域当然是生成式人工智能。我们正在与世界上所有的人工智能初创企业合作。最终，他们希望能够降落在世界领先的云之一上。因此，我们将 DGX Cloud 作为世界领先云中的一个足迹，以便我们可以同时与所有 AI 合作伙伴合作，并帮助他们轻松地将它们融合到我们的云合作伙伴之一中。 第二个好处是，它允许我们的 CSP 和我们自己真正紧密地合作，以提高超大规模云的性能，超大规模云历来是为多租户设计的，而不是为生成式 AI 等高性能分布式计算而设计的。因此，能够在架构上紧密合作，让我们的工程师携手合作，提高网络性能和计算性能，这真的非常强大，非常棒。 第三，当然，NVIDIA 自己也使用非常庞大的基础设施。而我们的自动驾驶汽车团队、我们的 NVIDIA 研究团队、我们的生成式 AI 团队、我们的语言模型团队，我们需要的基础设施数量是相当可观的。如果没有我们的 DGX 系统，我们的优化编译器就不可能实现。如今，甚至编译器也需要人工智能，优化软件和基础设施软件甚至需要人工智能来开发。我们的工程部门使用人工智能来设计我们的芯片，这一点已经广为人知。 因此，内部——我们自己对人工智能的消费、我们的机器人团队等等、Omniverse 团队等等，都需要人工智能。所以我们的内部消耗也相当大，我们把它放在DGX Cloud上。因此，DGX Cloud 拥有多个用例、多个驱动程序，并且取得了巨大的成功。我们的 CSP 喜欢它，开发人员喜欢它，我们自己的内部工程师也强烈要求拥有更多它。这是我们与世界各地的人工智能生态系统密切接触和合作的好方法。 科莱特·克雷斯 让我们看看我是否可以回答您有关我们软件收入的问题。在我们的开场白中，请记住，软件是我们几乎所有产品的一部分，无论是我们的数据中心产品、GPU 系统还是我们游戏和未来汽车产品中的任何产品。你是对的，我们也在独立业务中销售它。在我们提供软件服务和升级的地方，独立软件继续增长。 现在我们看到，我们的软件业务每年可能有数亿美元，我们正在考虑将 NVIDIA AI 企业纳入我们销售的许多产品中，例如我们的 DGX，例如作为 H100 的 PCIe 版本。我认为即使在我们的 CSP 市场中，我们也会看到更多的可用性。所以我们有了一个良好的开端，我相信我们会看到这种情况继续发展。 黄仁勋 新的计算时代已经开始。该行业正在同时经历两个平台转型：加速计算和生成式人工智能。数据中心正在将平台从通用计算转向加速计算。价值 1 万亿美元的全球数据中心将过渡到加速计算，以实现更高数量级的性能、能源效率和成本。加速计算催生了生成式人工智能，它正在推动软件平台的转变，并实现前所未有的新应用。加速计算和生成式人工智能共同推动了广泛的计算机行业平台转变。 我们的需求是巨大的。我们正在大幅扩大生产能力。今年剩余时间和明年的供应量将大幅增加。NVIDIA 已经为此准备了二十多年，并创建了一个新的计算平台，全世界的工业都可以在此基础上进行构建。NVIDIA 的特殊之处在于：一是架构。NVIDIA 加速了从数据处理、训练、推理、每个 AI 模型、实时语音到计算机视觉、从巨型推荐到矢量数据库的一切。我们架构的性能和多功能性可转化为最低的数据中心总体拥有成本和最佳的能源效率。 二、安装基础。NVIDIA 在全球拥有数亿个兼容 CUDA 的 GPU。开发人员需要庞大的安装基础来接触最终用户并发展业务。NVIDIA 是开发人员的首选平台。更多开发人员创建更多应用程序，使 NVIDIA 对客户更有价值。三、到达。NVIDIA 涉足云、企业数据中心、工业边缘、PC、工作站、仪器和机器人领域。每个都有根本上独特的计算模型和生态系统。OEM、计算机 OEM 等系统供应商可以放心地投资 NVIDIA，因为我们提供了巨大的市场需求和覆盖范围。规模和速度。NVIDIA 已实现显着规模，并 100% 投资于加速计算和生成式 AI。我们的生态系统合作伙伴可以相信我们拥有专业知识， 由于这些能力的叠加结果，我们正在加速。我们大约每六个月（而不是每两年）升级并添加新产品，以应对不断扩大的生成人工智能领域。虽然我们增加了 H100 的输出以用于大型语言模型的训练和推理，但我们正在加大新的 L40S 通用 GPU 的规模、云横向扩展和企业服务器的规模。Spectrum-X 由我们的以太网交换机、BlueField-3 Super NIC 和软件组成，可帮助希望在以太网基础设施上获得最佳 AI 性能的客户。客户已经在使用我们的 Grace Hopper 开发下一代加速计算和生成人工智能。 我们正在将 NVIDIA AI 扩展到需要生成式 AI 但同时具有隐私、安全和主权模型的全球企业。我们与全球领先的企业 IT 公司 Accenture、Adobe、Getty、Hugging Face、Snowflake、ServiceNow、VMware 和 WPP 以及我们的企业系统合作伙伴 Dell、HPE 和 Lenovo 一起，为全球企业带来生成式 AI。我们正在构建 NVIDIA Omniverse，以实现数字化，并使世界上价值数万亿美元的重工业能够使用生成式 AI 来自动化他们构建和运营实体资产的方式，并实现更高的生产力。生成式人工智能始于云端，但最重要的机会出现在世界上最大的行业中，企业可以在这些行业中实现数万亿美元的生产力提升。对于 NVIDIA、我们的客户来说，这是一个激动人心的时刻，合作伙伴和整个生态系统来推动计算的这一代转变。我们期待向您通报下季度的最新进展。 操作员 今天的电话会议到此结束。您现在可以断开连接。lg...
北美站
