ombergGPT，以帮助处理金融自然语言处理任务，例如情感分析、命名实体识别、新闻分类和问答。 汽车保险公司 CCC Intelligent Solutions 正在使用 AI 进行维修估算。AT&T 正在与我们合作开发 AI 以改进车队调度，因此他们的现场技术人员可以更好地为客户服务。使用 NVIDIA AI 的其他企业客户包括从事物流和客户服务的 Deloitte 以及从事药物发现和蛋白质工程的 Amgen。本季度，我们开始发货 DGX H100，这是我们的 Hopper 一代 AI 系统，客户可以在本地部署该系统。通过我们与 Microsoft Azure、Google Cloud 和 Oracle Cloud Infrastructure 的合作推出 DGX Cloud，我们从云端向客户兑现了 NVIDIA DGX 的承诺。 无论客户是在本地部署 DGX 还是通过 DGX Cloud 部署，他们都可以访问 NVIDIA AI 软件，包括 NVIDIA Base Command、AI 框架和预训练模型。我们为他们提供构建和操作 AI 的蓝图，扩展我们在系统、算法、数据处理和培训方法方面的专业知识。 我们还宣布了 NVIDIA AI Foundations，这是 DGX Cloud 上提供的模型铸造服务，使企业能够构建、改进和操作自定义大型语言模型和生成 AI 模型，使用我们自己的专有数据进行训练，为独特的领域特定任务提供信用. 它们包括用于大型语言模型的 NVIDIA NeMo，用于图像、视频和 3D 的 NVIDIA Picasso，以及用于生命科学的 NVIDIA BioNeMo。 每项服务都有六大要素，预训练模型、数据处理和管理框架、专有的基于知识的行业数据库、用于微调、对齐和护栏的系统、优化的推理引擎，以及来自 NVIDIA 专家的支持，以帮助企业精细化-为他们的自定义用例调整模型。 领先的企业服务平台 ServiceNow 是 DGX 云和 NeMo 的早期采用者。他们正在开发专门针对 ServiceNow 平台的数据训练的自定义大型语言模型。我们的合作将使 ServiceNow 创建新的企业级生成 AI 产品，全球 1,000 多家企业在 ServiceNow 平台上运行，包括 IT 部门、客户服务团队、员工和开发人员。 生成式 AI 也在推动推理劳动力的阶梯式增长。由于它们的规模和复杂性，这些工作流需要加速。4 月份发布的最新 MLPerf 行业基准表明，NVIDIA 的推理平台提供了领先行业几个数量级的性能，并且在各种工作负载上具有无与伦比的多功能性。 为了帮助客户大规模部署生成式 AI 应用程序，我们在 GTC 上宣布了四个利用 NVIDIA AI 软件堆栈的主要新推理平台。其中包括用于 AI 视频的 L4 Tensor Core GPU，用于 Omniverse 和图形渲染的 L40，用于大型语言模型的 H100 NVL，以及用于 LLM 的 Grace Hopper Superchip，以及推荐系统和矢量数据库。 Google Cloud 是第一个采用我们的 L4 推理平台的 CSP，推出了用于生成 AI 推理和其他工作负载的 G2 虚拟机，例如 Google Cloud Dataproc、Google Elf、Google AlphaFold 和 Google Cloud 的 Immersive Stream，可呈现 3D 和 AR经验。此外，Google 正在将我们的 Triton 和 French 服务器与 Google Kubernetes 引擎及其基于云的 Vertex AI 平台相集成。 在网络方面，我们看到 CSP 和企业客户对生成 AI 和加速计算的强烈需求，这需要像 NVIDIA 的 Mellanox 网络平台这样的高性能网络。与通用 CPU 基础设施相关的需求仍然疲软。随着生成式 AI 应用程序的规模和复杂性不断增加，高性能网络对于在数据中心规模提供加速计算以满足对训练和推理的巨大需求至关重要。 我们的 400 gig Quantum-2 InfiniBand 平台是 AI 专用基础设施的黄金标准，在主要云和消费者互联网平台（例如 Microsoft Azure）中得到广泛采用。通过将网络内计算技术与业界唯一的端到端数据中心规模、优化的软件堆栈相结合，客户通常可以将其大规模基础设施投资的吞吐量提高 20%。 对于多租户云过渡以支持生成 AI，我们的高速以太网平台具有 BlueField-3 DPU 和 Spectrum-4 以太网交换，可提供最高的可用以太网网络性能。BlueField-3 已投入生产，并已被多个超大规模和 CSP 客户采用，包括 Microsoft Azure、Oracle Cloud、CoreWeave、百度等。我们期待下周在台湾 COMPUTEX 大会上分享更多关于我们的 400 gig Spectrum-4 加速 AI 网络平台的信息。 最后，我们的 Grace 数据中心 CPU 正在向客户提供样品。在本周于德国举行的国际超级计算大会上，布里斯托大学宣布了一款基于 NVIDIA Grace CPU 超级芯片的新型超级计算机，其能效比之前的超级计算机高 6 倍。这增加了 Grace 在人工智能、云和超级计算应用程序中的纯 CPU 和 CPU/GPU 机会的增长势头。即将到来的 BlueField-3、Grace 和 Grace Hopper 超级芯片浪潮将使新一代超级节能加速数据中心成为可能。 现在，让我们转向游戏。博彩收入为 22.4 亿美元，环比增长 22%，同比下降 38%。用于笔记本电脑和台式机的 40 系列 GeForce RTX GPU 的销售推动了强劲的环比增长。总体而言，终端需求稳健且符合季节性，显示出在充满挑战的消费者支出背景下的韧性。GeForce RTX 40 系列 GPU 笔记本电脑开局良好，采用了四项 NVIDIA 发明、RTX 路径追踪、DLSS 3 AI 渲染、Reflex 超低延迟渲染和 Max-Q 节能技术。它们为游戏玩家和创作者带来了工业设计、性能和电池寿命方面的巨大进步。 与我们的台式机产品一样，40 系列笔记本电脑支持 NVIDIA Studio 平台或软件技术，包括创意数据科学和人工智能工作流程的加速，以及为内容创作者提供无与伦比的工具和功能的 Omniverse。在台式机方面，我们推出了 RTX 4070，它加入了之前推出的 RTX 4090、4080 和 4070 Ti GPU。RTX 4070 比 RTX 2070 快近 3 倍，为我们庞大的安装基础提供了惊人的升级。 上周，我们推出了 60 系列、RTX 4060 和 4060 Ti，将我们最新的架构带给全球核心游戏玩家，起价仅为 299 美元。这些 GPU 首次以主流价位提供 2 倍于最新游戏机的性能。4060 Ti 从今天开始上市，而 4060 将于 7 月上市。 从开发到运行，生成式 AI 将对游戏和内容创作产生变革。在本周早些时候的 Microsoft Build 开发者大会上，我们展示了配备 NVIDIA RTX GPU 的 Windows PC 和工作站将如何以人工智能为核心。NVIDIA 和 Microsoft 在端到端软件工程方面展开合作，从 Windows 操作系统到 NVIDIA 图形驱动程序，以及 NeMo 的 LLM 框架，以帮助在 NVIDIA RTX Tensor Core GPU 上构建 Windows，这是一个用于生成 AI 的增压平台。 上个季度，我们宣布与微软合作，将 Xbox PC 游戏带到 GeForce NOW。Gears 5 是此次合作的第一款游戏，现已上市，未来几个月还将发布更多游戏。现在 GeForce NOW 上有超过 1,600 款游戏，是所有云游戏服务中内容最丰富的游戏。 转向专业可视化。收入 2.95 亿美元，环比增长 31%，同比下降 53%。连续增长是由移动和桌面形式因素对工作站的强劲需求推动的，公共部门、医疗保健和汽车等关键垂直领域的实力强劲。我们认为渠道库存调整已经过去。我们的 Ada Lovelace GPU 架构在工作站中的快速发展开启了一个主要的产品周期。 在 GTC 上，我们发布了六款适用于笔记本电脑和台式机工作站的全新 RTX GPU，并计划在未来几个季度进一步推出。生成式 AI 是 NVIDIA 驱动的工作站的主要新工作负载。我们与 Microsoft 的合作将 Windows 转变为创作者和设计师的理想平台，利用生成 AI 来提升他们的创造力和生产力。 在 GTC 上，我们发布了 NVIDIA Omniverse Cloud，这是一项在 Microsoft Azure 中运行的 NVIDIA 完全托管服务，其中包括全套 Omniverse 应用程序和 NVIDIA OVX 基础设施。使用这个全栈云环境，客户可以设计、开发、部署和管理工业元宇宙应用程序。NVIDIA Omniverse Cloud 将于今年下半年开始提供。 微软 NVIDIA 还将 Office 365 应用程序与 Omniverse 连接起来。公司正在使用 Omniverse Cloud 将他们的工作流程数字化，从设计和工程到智能工厂和用于营销的 3D 内容生成。汽车行业一直是 Omniverse 的领先早期采用者，包括宝马集团、[音频不清晰]、通用汽车和捷豹路虎等公司。 转向汽车。营收为 2.96 亿美元，环比增长 1%，同比增长 114%。我们强劲的同比增长是由 NVIDIA DRIVE Orin 在许多新能源汽车上的增长推动的。正如我们在 3 月份宣布的那样，我们未来六年的汽车设计赢得管道现在达到 140 亿美元，高于一年前的 110 亿美元，这让我们可以预见未来几年的持续增长。 因此，由于 NAV 在中国的一些客户正在调整他们的生产计划以反映低于预期的需求增长，因此增长放缓。我们预计这种动态将持续到今年余下的时间。本季度，我们扩大了与全球领先的 NAV 制造商 BYD (ph) 的合作伙伴关系。我们赢得的新设计将把比亚迪对 DRIVE Orin 的使用扩展到其下一代高产量 Dynasty 和 ocean 系列车辆，这些车辆将于 2024 年开始生产。 转到损益表的其余部分。GAAP 毛利率为 64.6%，非 GAAP 毛利率为 66.8%。毛利率现在已基本恢复到之前的峰值水平，我们已经吸收了更高的成本，并通过创新和提供更高价值的产品以及包含越来越多软件的产品来抵消这些成本。 按顺序，GAAP 运营费用下降了 3%，非 GAAP 运营费用下降了 1%，在过去四个季度中，我们将 OpEx 保持在大致相同的水平。我们正在努力解决游戏和专业可视化方面的库存更正问题。我们现在希望增加对业务的投资，同时提供运营杠杆。 我们以现金股息的形式向股东返还了 9900 万美元。在第一季度末，到 2023 年 12 月，我们的股票回购授权剩余约 70 亿美元。 让我谈谈 24 财年第二季度的展望。总收入预计为 110 亿美元，上下浮动 2%。我们预计这种连续增长将主要由数据中心推动，反映出与生成人工智能和大型语言模型相关的需求急剧增长。这种需求使我们的数据中心可见性延长了几个季度，我们为今年下半年采购了大幅增加的供应量。 GAAP 和非 GAAP 毛利率预计分别为 68.6% 和 70%，上下浮动 50 个基点。GAAP 和非 GAAP 运营费用预计分别约为 27.1 亿美元和 19 亿美元。GAAP 和非 GAAP 其他收入和支出预计收入约为 9000 万美元，不包括非附属投资的收益和损失。 GAAP 和非 GAAP 税率预计为 14%，上下浮动 1%，不包括任何离散项目。资本支出预计约为 3 亿至 3.5 亿美元。更多财务细节包含在首席财务官的评论中以及我们 IR 网站上提供的其他信息中。 最后，让我强调一些即将举行的活动，Jensen 将于当地时间 5 月 29 日星期一亲自在台北发表主题演讲，这将是美国的周日晚上。此外，我们将参加美国银行全球6 月 6 日在旧金山举行的技术会议。6 月 7 日在 AI 时代举行的 Rosenblatt 虚拟技术峰会，以及 6 月 12 日的新街未来交通虚拟会议。我们的财报电话会议讨论了我们第二季度财政 '24 的结果定于 8 月 23 日，星期三。 问答环节 张敏也 你好。下午好。非常感谢您提出这个问题，并祝贺您取得了丰硕的成果和令人难以置信的前景。只有一个关于数据中心的问题。Colette，你提到本季度收入的绝大部分环比增长将来自数据中心。我很好奇那里的结构是什么，如果你能谈谈，4 月到 7 月的主要驱动因素是什么，也许更重要的是，你谈到了下半年的可见性。我猜此时更多的是供应问题，此时您的供应链可以支持 7 月季度之后的什么样的连续增长？谢谢。 科莱特克雷斯 好的。所以，那里有很多不同的问题。那么，让我看看是否可以开始，我相信 Jensen 会听取您的意见。因此，当我们谈论我们预期的第一季度和第二季度之间的连续增长时，我们的生成 AI 大型语言模型正在推动搜索和需求，并且它在我们的消费者互联网公司、我们的 CSP、我们的企业中都有广泛的基础，和我们的人工智能初创企业。 它也对我们的两种架构感兴趣，包括我们的 Hopper 最新架构以及我们的 Ampere 架构。这并不奇怪，因为我们通常会同时出售我们的两种架构。这也是深度推荐系统推动增长的关键领域。我们还希望在我们的计算和网络业务中看到增长。因此，当我们考虑为第二季度提供的指导时，这些是我们考虑的一些关键事项。 我们还在开场白中提到，我们今天正在处理本季度的供应，但我们也为下半年采购了大量供应。我们有一些重要的供应链流程来满足我们所看到的重要客户需求，这是我们在广泛的不同客户中看到的需求。 他们正在为一些最大的企业构建平台，同时也在 CSP 和大型消费者 AI 公司中进行设置。因此，我们现在可以看到我们的数据中心需求可能已经延长了几个季度，这促使我们努力为下半年快速采购大量供应。我要在那儿暂停一下，看看 Jensen 是否想再补充一点。 CJ缪斯 是的。下午好。谢谢你提出这个问题。我想对于数据中心，你基本上是每季度翻一番，是的，我会想到两个相互关联的自然问题。第一，我们在推动服务器加速以支持 AI 方面进展如何？作为其中的一部分，当您与台积电和您的其他合作伙伴处理更长的周期时间时，您如何考虑管理他们在那里的承诺以及您希望在未来几年管理您的交货时间的地方，以达到最佳匹配 - - 最匹配的供需？非常感谢。 黄仁勋 是的，CJ 谢谢你的提问。我会倒着开始。- 请记住，当我 - 当 ChatGPT 时刻到来时，我们正在全面生产 Ampere 和 Hopper。它帮助每个人明确了如何从大型语言模型技术过渡到基于聊天机器人的产品和服务。 护栏和对齐系统的集成，强化学习人类反馈，专有知识的知识向量数据库，与搜索的连接，所有这些都以一种非常美妙的方式结合在一起，这就是我称之为 iPhone 时刻的原因，所有技术汇集在一起，帮助每个人意识到可以成为多么神奇的产品以及它可以拥有什么功能。所以我们已经全面投入生产。如您所知，NVIDIA 的供应链流程和我们的供应链非常重要。 我们批量构建超级计算机，这些都是巨大的系统，我们批量构建它们。它当然包括 GPU，但在我们的 GPU 上，系统板有 35,000 个其他组件。网络、光纤、令人难以置信的收发器和 NIC、智能 NIC、交换机，所有这些都必须结合在一起，以便我们建立数据中心。因此，当那一刻到来时，我们已经全面投入生产。正如 Colette 所说，我们必须在下半年大幅增加采购量。 现在，让我谈谈大局。为什么全世界的数据中心都在朝着加速计算的方向发展。众所周知，加速计算是一个全栈问题，但它是一个全栈挑战，但如果我们能在大量应用领域成功做到这一点，我们已经花了 15年。 如果足够的话，几乎可以加速整个数据中心的主要应用程序。您可以将我们数据中心的能耗和成本大幅降低一个数量级。这需要 - 这样做要花很多钱，因为你必须做所有的软件和一切，你必须构建所有的系统等等，但我们已经 15 年没有了。 发生的事情是，当生成人工智能出现时，它触发了这个已经准备了一段时间的计算平台的杀手级应用程序。因此，现在我们看到自己处于两个同时发生的转变中。当今世界价值 1 万亿美元的数据中心几乎完全由 CPU 组成，而且 1 万亿美元，每年 2500 亿美元，当然它还在增长。但在过去四年中，安装了价值 1 万亿美元的基础设施。而且它完全基于 CPU 和哑 NIC (ph)。基本上是不加速的。 在未来，这一点现在已经很清楚了——随着生成人工智能成为世界上大多数数据中心生成信息的主要工作负载，现在很清楚——加速计算是如此节能这一事实，以至于数据中心的预算将非常显着地转向加速计算，你现在就看到了。就在我们说话的时候，我们正在经历那个时刻。虽然全球数据中心的资本支出预算有限，但与此同时，我们看到了令人难以置信的重组全球数据中心的订单。 所以，我认为你正在开始 - 你看到了称之为 10 年过渡的开始，基本上回收或回收世界数据中心并将其构建为加速计算。数据中心的支出将从传统计算转向使用智能 NIC、智能交换机，当然还有 GPU 的加速计算，工作负载将主要是生成 AI。 维韦克艾莉亚 谢谢你的问题。我是否只想澄清可见性是否意味着数据中心销售额可以在第三季度和第四季度继续连续增长，或者它们是否维持在第二季度的水平？我只是想澄清一下。然后詹森，我的问题是，鉴于这种非常强劲的需求环境，这对竞争格局有何影响？它会在定制 ASIC 方面引发更多竞争吗？它会在其他 GPU 解决方案或其他类型的解决方案方面引发更多竞争吗？您如何看待未来两到三年的竞争格局变化？ 科莱特克雷斯 是的，维维克。谢谢你的问题。让我看看我是否可以添加更多颜色。我们相信，我们今年下半年的供应量将大大超过上半年。因此，我们不仅期待我们在上个季度看到的需求，我们在第二季度的预测需求，而且还计划在今年下半年看到一些东西。我们只需要在这里小心。但我们不是来指导后半部分的。是的，与上半年相比，我们确实计划在下半年大幅增加。 黄仁勋 关于竞争，我们有来自各个方向的竞争。初创企业真的非常资金雄厚和创新的初创企业，在世界各地不计其数。我们有来自现有半导体公司的竞争。我们在内部项目中遇到来自 CSP 的竞争。你们中的许多人都知道其中的大部分。因此，我们一直都在关注竞争，而且我们一直都有竞争。但 NVIDIA 的核心价值主张是，我们是成本最低的解决方案。我们是 TCO 最低的解决方案。 这样做的原因是，因为加速计算是我经常谈论的两件事，这是一个全栈问题，这是一个全栈挑战，你必须设计所有的软件、所有的库和所有的算法，将它们集成到框架中并对其进行优化，不仅针对一艘船的架构，而且针对整个数据中心的架构对其进行优化，一直到框架，一直到模型。工程和分布式计算的数量，基础计算机科学工作确实非常了不起。这是我们所知道的最难的计算。 因此，第一，这是一个完整的堆栈挑战，你必须在整个过程中优化它，并且只需要在令人兴奋的堆栈数量上进行优化。我们有 400 个加速库。如您所知，我们加速的库和框架的数量非常惊人。 第二部分是生成AI是一个大规模的问题，是一个数据中心规模的问题，这是计算机就是数据中心或者数据中心就是计算机的另一种思路，不是芯片，是数据中心以前从未发生过这样的事情。在这个特定的环境中，你的网络操作系统，你的分布式计算引擎，你对网络设备架构的理解，交换机和计算系统，计算结构，整个系统就是你的计算机，这就是你正在尝试的操作。因此，为了获得最佳性能，你必须了解全栈，你必须了解数据中心规模，这就是加速计算。 第二件事是 - 利用率，它谈论您可以加速的应用程序类型的数量以及我们架构的多样性保持高利用率。如果你能做一件事并且只做一件事而且速度非常快，那么你的数据中心基本上没有得到充分利用，而且很难扩大规模。事实是，通用 GPU 事实上我们加速了这么多堆栈，使我们的利用率非常高，所以第一是吞吐量，那就是软件——这是一个软件密集型问题和数据中心架构问题。第二个是通用性问题，第三个是数据中心专业知识。我们已经建立了五个自己的数据中心，我们已经帮助世界各地的公司建立数据中心，我们将我们的架构融入到全世界” 从交付产品的那一刻到站起来进行部署，衡量数据中心运营的时间不是——如果你不擅长它而不是——不精通它，它可能需要几个月的时间。站在一台超级计算机上，让我们看看，世界上一些最大的超级计算机是大约一年半前安装的，现在它们正在上线，所以它不是 - 看到交付给运营大约是闻所未闻的年。 我们交付运营以周为单位。我们采用了数据中心和超级计算机，并将其转化为产品，团队在这方面的专业知识令人难以置信，等等。因此，归根结底，我们的价值主张是，所有这些技术都转化为基础设施，以尽可能低的成本实现最高吞吐量。所以我认为 - 我们的市场当然非常非常有竞争力，非常大。但挑战真的非常大。 亚伦雷克斯 是的。感谢您提出问题并祝贺本季度。当我们考虑分析未来数据中心业务的各种不同增长驱动因素时，我很好奇，科莱特，考虑到您的云服务协议的扩展仍在继续，我们应该如何考虑软件的货币化效应成长？我很好奇——你认为我们在 AI 企业软件套件和其他软件收入驱动程序方面的方法处于什么位置？ 科莱特克雷斯 谢谢你的问题。软件对我们的加速平台非常重要。我们不仅拥有大量的软件，我们包括在我们最近的架构中，而且基本上，我们拥有的所有产品。我们现在有许多不同的模型来帮助客户开始他们在生成人工智能和加速计算方面的工作。因此，我们从 DGX Cloud 获得的任何东西都可以提供这些服务，帮助他们构建模型，或者正如我们讨论的 NVIDIA AI 企业的重要性，本质上是 AI 操作系统。因此，随着我们的前进，所有事情都应该继续增长，包括架构和基础设施，以及该产品的可用性，以及我们将其货币化的能力 [音频不清晰]。如果他需要补充，我会将其转交给 Jensen。 黄仁勋 是的。我们可以实时看到生成式 AI 和 CSP 的增长，用于训练模型、改进模型以及部署模型。正如 Colette 之前所说，推理现在是加速计算的主要驱动力，因为生成 AI 已经在如此多的应用程序中得到了如此有效的使用。 有两个部分需要新的软件堆栈，这两个部分是企业和工业。企业需要一套新的软件，因为许多企业需要拥有我们讨论过的所有功能，无论是大型语言模型、适应能力，还是针对您的专有用例和专有数据，使其与你自己的原则和你自己的操作领域。 你希望能够在高性能计算沙箱中做到这一点，我们使用 DGX 云，并创建一个模型。然后你想在任何云中部署你的聊天机器人或你的人工智能，因为你有服务并且你与多个云供应商有协议并且根据应用程序，你可以将它部署在各种云上。 对于企业，我们有 NVIDIA AI Foundation 来帮助您创建自定义模型，我们还有 NVIDIA AI Enterprise。NVIDIA AI Enterprise 是世界上唯一的企业安全且受企业支持的加速堆栈、GPU 加速堆栈。你必须不断打补丁，有 4,000 个不同的软件包构建了 NVIDIA AI Enterprise，代表了整个 AI 工作流的运行引擎，端到端的运行引擎。 它是同类产品中唯一的一种，从数据摄取、数据处理，显然，为了训练人工智能模型，你有大量数据，你必须处理、打包、整理、对齐，只有一大堆您必须对数据执行的操作才能为训练做准备。如此大量的数据，可能会消耗大约 40%、50%、60% 的计算时间，因此，数据处理非常重要。 然后它的第二个方面是训练模型，改进模型，第三个方面是部署模型进行推理。NVIDIA AI Enterprise 不断为所有这 4,000 个软件包提供补丁和安全补丁。对于想要部署他们的引擎的企业来说，就像他们想要部署 Red Hat Linux 一样，这是一个非常复杂的软件，以便在每个云和本地部署它，它必须是安全的，它有得到支持。因此，NVIDIA AI Enterprise 是第二点。 第三个是全宇宙。正如人们开始意识到您需要使 AI 符合道德规范一样，对于机器人技术也是如此，您需要使 AI 符合物理学。使人工智能符合道德规范包括一项称为强化学习人类反馈的技术。就工业应用和机器人技术而言，它是强化学习 Omniverse 反馈。Omniverse 是机器人应用程序和行业中定义的软件的重要引擎。所以，Omniverse 也需要做一个云服务平台。 因此，我们的软件堆栈，三个软件堆栈，AI Foundation，AI Enterprise 和 Omniverse 在我们有合作伙伴关系的世界所有云中运行，DGX Cloud 合作伙伴关系。Azure，我们在 AI 和 Omniverse 方面都有合作伙伴关系。通过 GTP 和 Oracle，我们在 DGX Cloud for AI 方面建立了良好的合作伙伴关系，AI Enterprise 已集成到所有这三者中，所以我认为 - 为了让我们将 AI 的范围扩展到云之外，并进入世界企业和世界各行各业，你需要两种新型——你需要新的软件堆栈来实现这一点，通过将其放入云中，将其集成到世界的 CSP 云中，这是我们合作的好方法与所有云供应商的销售和营销团队以及领导团队一起。 蒂姆·阿库里 多谢。我有一个问题，然后我也得到了澄清。所以，第一个问题是，Jensen，关于 InfiniBand 与以太网的争论，你能谈谈这场争论，也许你是如何看待它的结果的？我知道你需要低延迟——用于 AI 的 InfiniBand 的低延迟，但你能谈谈你的 InfiniBand 解决方案与你在核心计算端运送的东西的附加率，也许这是否同样排挤以太网就像您在计算方面一样？然后澄清一下，科莱特，尽管你仍然有大约 70 亿美元的股票回购授权，但没有股票回购。那只是时机吗？谢谢。 科莱特克雷斯 那是对的。我们有 70 亿美元的经常性回购授权。我们在上个季度没有回购任何东西，但我们确实有机会回购，我们也会在前进的过程中考虑这一点。谢谢 黄仁勋 InfiniBand 和以太网是数据中心中的目标不同应用程序。好的。他们都有自己的位置。InfiniBand 有一个创纪录的季度。我们将迎来创纪录的一年。InfiniBand 有一个真正的——NVIDIA 的 Quantum InfiniBand 有一个特殊的路线图。这将是非常不可思议的。但是这两个网络非常不同。如果您愿意，InfiniBand 是为 AI 工厂设计的。如果该数据中心针对特定用例为少数人运行一些应用程序并且它持续运行并且该基础设施使您付出代价，请选择一个数字，5 亿美元。 InfiniBand 和以太网之间的差异可能是总吞吐量的 15%、20%。如果你在基础设施上花费了 5 亿美元，差异是 10% 到 20%，而它是 1 亿美元，那么 InfiniBand 基本上是免费的。这就是人们使用它的原因。InfiniBand 实际上是免费的。数据中心吞吐量的差异只是——它太大了，不容忽视，而且您正在将它用于那个应用程序，因此，如果您的数据中心是云数据中心及其多租户。这是一堆小工作，一堆小工作，由数百万人共享。 那么以太网真的是我的答案吗？中间有一个新的部分，云正在成为一个生成的 AI 云。这不仅仅是 AI 工厂本身。但它仍然是一个多租户云，但它希望运行生成式 AI 工作负载。这个新的细分市场是一个很好的机会，在 COMPUTEX 上，我在上一届 GTC 上提到了它。在 COMPUTEX 上，我们将宣布该细分市场的一个主要产品线，即以以太网为中心的生成 AI 应用类型的云。但 InfiniBand 的表现非常出色，我们的季度环比同比创下历史新高。 斯泰西·拉斯根 嗨，大家好。感谢您提出我的问题。我有一个关于生成 AI 的推理与训练的问题。所以，你说的推理是一个非常大的机会。我想，有两个子部分。就是说，除了推理之外，基本上与使用量成比例，而不是像训练更像是一次性的。你能不能给我们一些东西，即使它只是定性的，比如你认为影响大于培训，反之亦然，如果影响更大，那么大多少？这是否像机会一样，是 5 倍，还是 10 倍，对于生成 AI 中的这两个工作负载，您能给我们提供什么吗，这会有所帮助。 黄仁勋 是的。我会逆向工作。你永远不会完成训练。您总是——每次部署时，您都在收集新数据。当您收集新数据时，您将使用新数据进行训练。因此，您永远不会完成培训。您永远不会完成生成和处理扩充大型语言模型的 Vector 数据库。您永远不会完成对所有收集到的结构化 - 非结构化数据的矢量化。 因此，无论你是在构建推荐系统、大型语言模型、矢量数据库，如果你愿意的话，这可能是未来计算的三个核心引擎的三个主要应用。这是一堆其他的东西，但显然这是三个非常重要的东西。他们总是在奔跑。 你会看到越来越多的公司意识到他们有一个智能工厂，一个智能工厂，在这种特殊情况下，它主要致力于训练和处理数据以及向量化数据和学习数据的表示，等等等等。 它的推理部分是 API，这些 API 可以是可以连接到各种应用程序的开放 API，也可以是集成到工作流中的 API。但是各种各样的 API，公司将有 100 个 API，其中一些是他们自己构建的，其中一些是可能的——其中许多可能来自我们正在合作的 ServiceNow 和 Adobe 这样的公司人工智能基金会。他们将创建一大堆生成式 AI API，公司可以将这些 API 连接到他们的工作流程中或用作应用程序。当然，还会有一大堆互联网服务公司。 所以，我认为你第一次同时看到 AI 工厂和市场的显着增长——这个市场以前并不存在，但现在它实际上呈指数增长由弱者使用 API 进行 AI 推理。最终考虑它的简单方法是，世界上安装了 1 万亿美元的数据中心，它们曾经是 100% 的 CPU。在未来，我们知道我们已经在足够多的地方听到过它，我认为今年有一个 ISC 主题演讲实际上是关于摩尔定律的终结。 现在我们已经在很多地方看到它，你不能通过通用计算合理地扩展数据中心，加速计算是前进的道路，现在它有了一个杀手级应用程序，它有了生成人工智能，等等考虑这一点的最简单方法是您的 1 万亿美元基础设施。从资本支出预算中使用的 GPU 数量到加速交换机和加速网络——连接它们的网络芯片，每个季度的资本支出预算都将大量依赖于生成 AI 和加速计算基础设施。最简单的思考方式是在未来四五年、十年内，这 1 万亿美元中的大部分，然后对数据中心的所有增长进行补偿调整，这将主要是生成人工智能，所以” 约瑟夫摩尔 伟大的。谢谢。就推理的重点而言，我想对此进行跟进。很明显，这是围绕大型语言模型的一个非常大的机会，但云客户也在谈论尝试以非常显着的数量降低每次查询的成本。你们可以谈谈这对你们的影响，你们在 GTC 上推出的一些专业保险产品是从哪里来的，你们将如何帮助你们的客户降低每次查询的成本？ 黄仁勋 是的。这是一个很好的问题。无论您是从构建一个大型语言模型开始，然后使用该大型语言模型非常大的版本，然后您可以将它们提炼成中型、小型和小型。还有那些小尺寸的，你可以放进你的手机和电脑等等，它们都有很好的——它们都有——这似乎令人惊讶，但它们都可以做同样的事情。但显然，零镜头或大型语言模型的泛化能力，最大的是通用性强得多，它可以做很多更令人惊奇的事情。大的会教小的，如何成为好的人工智能等等，你用大的来生成提示来对齐小的，等等。所以你从建造非常大的开始。然后你还必须训练一大堆较小的。 现在，这正是我们有这么多不同规模的推理的原因。你看到我宣布了 L4、L40、H100 NBL——它也有 H100 HGX，然后我们有 H100 多节点和 NVLink 等等——你可以有任何你喜欢的模型尺寸。另一件重要的事情是，这些是模型，但它们最终连接到应用程序。应用程序可以有图像输入、视频输出、视频输入、文本输出、图像输入、蛋白质输出、文本输入、3D 输出、视频输入，在未来，3D 图形输出。 因此，输入和输出需要大量的预处理和后处理。前处理和后处理不容忽视。这是大多数专用芯片论点都分崩离析的事情之一，这是因为整个推理处理的长度——模型本身只称其为数据的 25%。其余部分是关于预处理和后处理、安全、解码，以及诸如此类的各种事情。 因此，我认为推理的多模态方面，推理的多样性，将在本地云中完成。它将在多云中完成，这就是我们在所有云中拥有 AI Enterprise 的原因。它将在本地完成，这就是我们与戴尔建立良好合作伙伴关系的原因，我们前几天刚刚宣布，称为 Helix 项目，它将集成到第三方服务中。这就是我们与 ServiceNow 和 Adobe 建立良好合作伙伴关系的原因，因为他们将创建一大堆生成式 AI 功能。因此，存在所有多样性，生成式人工智能的影响范围如此之广，你需要具备一些非常基本的能力，就像我刚才描述的那样，才能真正解决它的整个领域。 哈兰苏尔 你好。下午好，祝贺您取得了出色的成绩和执行力。我真的很感谢今天对您的网络产品的更多关注或一些关注。我的意思是，它确实是最大限度地发挥计算平台的全部性能不可或缺的一部分。我认为数据中心网络业务推动了每季度 10 亿美元正负收入的一部分，这比三年前增长了 2.5 倍，对吧，当你们收购 Mellanox 时。 如此强劲的增长，但考虑到您的 InfiniBand、以太网解决方案、您的加速计算平台的非常高的附加值，网络运行率是否与您的计算出货量一致？然后，为了跟上计算复杂性、数据集、更低延迟的要求、更好的流量可预测性等显着增加的步伐，团队正在做什么来进一步释放更多的网络带宽？ 黄仁勋 是的，哈兰。我真的很感激。所以，几乎所有想到人工智能的人，他们都会想到那个芯片，加速器芯片，事实上，它几乎完全没有抓住重点。我之前提到过，加速计算是关于堆栈的，关于软件和网络，请记住，我们很早就宣布了一个名为 DOCA 的网络堆栈，我们有一个名为 Magnum IO 的加速库。这两款软件是我们公司的一些皇冠上的明珠。从来没有人谈论它，因为它很难理解，但它使我们可以连接 10 个或 1,000 个 GPU。 如果作为基础设施的数据中心的操作系统不是特别好，您如何连接 10 个或 1000 个 GPU，这就是我们如此着迷于公司网络的原因。我们拥有的一件伟大的事情——我们拥有 Mellanox，正如您所熟知的那样，它是世界上性能最高的，并且是高性能网络领域的明确领导者，这就是我们两家公司在一起的原因。 您还会看到我们的网络从 NVLink 开始扩展，NVLink 是一种具有真正超低延迟的计算结构，它使用内存引用而不是网络包进行通信。然后我们采用 NVLink，我们将它连接到多个 GPU 中，我描述了超越 GPU 的范围。几天后我将在 COMPUTEX 上详细讨论这个问题。然后，它连接到 InfiniBand，其中包括 NIC，我们正在全面生产的 SmartNIC BlueField-3 和交换机，所有端到端优化的光纤。这些东西以令人难以置信的线路速率运行。 除此之外，如果你想将智能人工智能工厂——智能事实——这个人工智能工厂连接到你的计算结构中，我们有一种全新的以太网类型，我们将在 COMPUTEX 上宣布，所以——计算结构的整个区域将所有这些 GPU 和计算单元连接在一起，一直通过网络，通过交换机，软件堆栈非常复杂。所以，我们——我很高兴你能理解它，但是——我们不会把它拆开，特别是因为我们认为整个事情应该是一个计算平台。 我们将它作为组件出售给世界上所有的数据中心，这样他们就可以将它集成到他们想要的任何风格或架构中，而我们仍然可以运行我们的软件堆栈。这就是我们将其拆分的原因，我们这样做的方式要复杂得多，但它使 NVIDIA 的计算架构可以集成到世界上任何人的数据中心，从各种不同类型的云到本地各种各样，一直到 5G 的边缘，所以这种方式确实很复杂，但它给了我们难以置信的影响力。 马特拉姆齐 非常感谢。祝贺 Jensen，并祝贺整个团队。我想深入研究的其中一件事是 DGX Cloud 产品。你们已经在幕后进行了一段时间的研究，您将硬件出售给您的超大规模合作伙伴，然后将其租回用于您自己的业务，而我们其他人几个月前就公开发现了这件事. 我们期待 Colette 讨论的下几个季度在数据中心业务中的高知名度。 也许你可以谈谈你看到的超大规模客户为自己的第一方内部工作负载与他们自己的第三方购买的混合，他们自己的客户与数据中心未来的巨大优势是什么您正在销售的系统，有可能支持您的 DGX Cloud 产品，以及自推出该产品以来您所了解到的有关该业务潜力的信息。谢谢。 黄仁勋 是的。谢谢马特。它是——没有太具体的数字，但理想的场景，理想的组合是 10% 的 NVIDIA DGX 云和 90% 的 CSP 云，原因——我们的 DGX 云是——NVIDIA 堆栈是纯 NVIDIA 堆栈。它按照我们喜欢的方式构建，并实现最佳性能。它使我们能够与 CSP 深入合作，创建性能最高的基础设施，排名第一。 第二，它使我们能够与 CSP 合作创造市场，例如，我们正在与 Azure 合作，将 Omniverse 云引入世界各行业。世界上从未有过这样的系统，即计算堆栈。现在有了所有生成的 AI 东西和所有 3D 东西和物理东西，难以置信的大数据库和真正的高速网络和低延迟网络，那种虚拟的工业虚拟世界以前从未存在过。 因此，我们与 Microsoft 合作，在 Azure 云中创建 Omniverse 云。因此，它允许我们第二，一起创建新的应用程序并一起开发新的市场。我们作为一个团队进入市场，我们通过让我们的客户使用我们的计算平台而受益，他们通过将我们置于他们的云中而受益，排名第一；但第二，数据和服务以及安全服务的数量以及 Azure、GCP 和 OCI 拥有的所有令人惊奇的东西，他们可以通过 Omniverse 云立即访问这些东西。所以这是一个巨大的双赢。 对于客户而言，NVIDIA 云为这些早期应用程序工作的方式，他们可以在任何地方进行。因此，一个标准堆栈在所有云中运行，如果他们愿意使用他们的软件并在 CSP 云上自行运行并自行管理，我们对此感到很高兴，因为 NVIDIA AI Enterprise，NVIDIA AI Foundations。从长远来看，这需要更长的时间，但 NVIDIA Omniverse 将在 CSP 云中运行。好的。 因此，我们的目标实际上是推动架构深入合作，以创造新市场和我们正在做的新应用程序，并为我们的客户提供在他们的任何地方运行的灵活性，包括本地等， - 这些是它的主要原因，而且效果令人难以置信。我们与三个 CSP 的合作伙伴关系以及我们目前拥有 DGX Cloud 以及他们的销售团队和营销团队，他们的领导团队确实非常出色。它很好用。 黄仁勋 计算机行业正在经历两个同时发生的转变，即加速计算和生成 AI。CPU 扩展已经放缓，但计算需求强劲，现在生成 AI 得到了增强。加速计算、NVIDIA 开创的全堆栈和数据中心规模方法是最好的前进道路。基于上个时代的通用计算方法，全球数据中心基础设施中安装了 1 万亿美元。公司现在竞相为生成人工智能时代部署加速计算。未来十年，全球大部分数据中心都将加速发展。 我们正在显着增加供应以满足不断增长的需求。大型语言模型可以学习以多种形式编码的信息。在大型语言模型的指导下，生成式 AI 模型可以生成令人惊叹的内容，并且通过模型进行微调、防护、与指导原则保持一致并以事实为基础，生成式 AI 正在从实验室中脱颖而出，并正在走向工业应用。 随着我们与云和互联网服务提供商一起扩展，我们也在为世界上最大的企业构建平台。无论是在我们的 CSP 合作伙伴之一内，还是在 Dell Helix 的本地部署中，无论是在 ServiceNow 和 Adobe 等领先的企业平台上，还是在 NVIDIA AI Foundations 的定制平台上，我们都可以帮助企业利用他们的领域专业知识和数据，安全可靠地利用生成人工智能. 我们将在未来几个季度推出一系列产品，包括 H100、我们的 Grace 和 Grace Hopper 超级芯片以及我们的 BlueField-3 和 Spectrum 4 网络平台。它们都在生产中。它们将帮助提供数据中心规模的计算，同时也是节能和可持续的计算。下周加入我们的 COMPUTEX，我们将向您展示接下来的内容。谢谢。lg...
北美站
