FX168财经网_全球视野外汇黄金加密货币NFT资讯网

如何解决用户转化困境开启 Web3 应用收入之门？

持各种法币支付通道购买，例如：信用卡，Google Play 以及 App Store 的应用内购等方式。图 12：Smart Marketplace 示意及低代码创建另外，每一个 Web3 应用都有自己的界面风格，如果内置市场与应用的整体风格不符，也会影响用户的体验和交易意愿。但在目前的第三方交易市场上，所有的样式都只能按照第三方的要求来实现。考虑到这一点，Smart Marketplace 允许开发者们对创建市场的外观进行自定义，自由选择要集成的不同模块，以及它们的 UI 呈现。图 13：Smart Marketplace 后台配置界面及移动端示意开发者们可以通过定制化，使自己的交易市场在风格上与应用本身达到一致。在目前所有第三方交易市场的展示同质化时，定制化的交易市场更有利于展示应用的品牌个性。此外，如何更好地对交易市场进行运营以及分析，也在 Smart Marketplace 的考虑范围中。在快速构建交易市场之后，Smart Marketplace 还提供了对终端用户数据指标的监控和分析，例如 NFT 交易数据、交易量、点击率和搜索率等，帮助项目通过数据驱动运营决策，适时地调整营销策略。而除了帮助 Web3 应用更快的构建内置市场，Smart Platform 也为应用的用户获取和用户激活提供了解决方案： Smart Auth (智能认证）：用户能够访问交易市场的前提是访问应用本身。对于大量的圈外用户而言，他们更为熟悉的登录方式是邮箱、社媒和浏览器账号等。因此，Smart Auth 提供了与这些传统登录方式的便捷集成功能，使用户在登录环节可以直接使用 Web2 的方式进行身份认证，体验上类似目前 APP 的“第三方登录”，无需跳出应用或理解钱包账户的概念。图 14：Smart Auth功能及用例示意 Smart Wallet（智能钱包）： Smart Wallet 能够提供“应用内置钱包”的功能，应用开发者在集成该方案后，能够让用户在对钱包无感知的情况下进行交易。具体实现上，Smart Wallet 采用了目前前沿的 MPC 方案，免去私钥保存和管理的问题；同时也集成了法币的入金方案，使得用户在当地法规允许的情况下，直接在应用中进行加密资产的购买。图 15：Smart Wallet 功能及用例示意 Smart NFT Management(智能 NFT 管理）：一个完整的 NFT 交易市场，不光能承载二级市场的交易，也应该满足一级市场的 NFT 发售需求。因此，Smart NFT Management 的作用在于，帮助项目方进行 NFT Collection 创建、NFT Minting、Fetching / Querying 等各类 NFT APIs 的调用，并能够集成在各种不同类型的应用中。而上述这些功能，为了满足不同开发者实际开发过程中的不同需求，Smart Platform 既支持开发者以低代码的方式直接调用 API ，也允许以更便捷的无代码的方式，直接在 Dashboard 当中进行配置实现。图 16：Smart NFT Management 功能及用例示意如果我们将 Smart Plaform 所提供的上述解决方案综合到一起，其产品本质会显得更加清晰：“一站式的开发能力供给”。这种用一个平台解决一系列问题的思路，将省去 Web3 应用在开发对接环节上的大量时间，能够为开发者将精力投入到打磨产品本身创造空间。而当开发能力的供给瓶颈被解决，释放的不仅是开发时间，更是 Web3 应用在体验和内容革新上的无限可能。未来展望在完整了解 Smart Platform 的解决方案后，我们认为它准确地切中了目前 Web3 应用开发者们的痛点。而准确的背后，是经验的凝练和总结。打造 Smart Platform 的 Mirror World，在早期开发制作 Web3 游戏时也面临过获客转化率低、获客成本高以及第三方交易市场目标用户不匹配等痛点，对于 Web3 应用开发的哪些环节需要优化，有着真实的心得和体验。当经验输出成产品，在满足自身需求的同时，也顺理成章地为行业普遍痛点的解决，提供了可行的方案。同时，在移动端优先的趋势下，Web3 行业在手机上有希望涌现出更多具备体验与可用性的 Web3 应用。但应用的涌现，更离不开应用开发的便捷化。 Smart Platform 作为首个一站式 Web3 应用开发平台，就是为了完整解决开发者在更短的开发时间、更低的接入成本以及更好的用户体验之间的选择矛盾。减轻开发者对 Onboard 用户和变现方式的投入，才能使之把更多的精力放在如何产出更好的内容体验上；真正做到降低开发门槛后，才能让开发者有时间和精力重新构想 Web3 应用的未来。为了提高扩展性，兼顾更多的生态项目，Smart Platform 也在不断地开发迭代，在去年 10 月支持 Solana 生态并为超过 250 个项目提供 API 支持之后，在 2月 24 日再次推出支持多链生态开发部署的版本，同时完成了对 Ethereum、Polygon、BNB Chain 等公链的集成，并已经在其官网开放了早期使用权限的申请通道。图18：Smart Platform 发布后的使用情况同时，产品所服务的项目数量和使用数据也在快速上升。在线下活动方面，Mirror World 将在 2.28 日与 Mask Network、Next.ID、Chainbase、Collab.Land 等项目共同于 ETHDenver 期间举办的 Web3 Social House 活动上，进行产品首次的线下发布，同时获得了 Gitcoin、Lens Protocol、RSS3 等开发者社区的支持，这将允许 Mirror World 为更多项目提供 0 成本接入的机会。 Mirror World 在 Q1 仍计划向市场推出一系列奖金丰厚的 Hackathon 与开发者激励计划，旨在帮助产品完成更大规模的接入使用，并为开发者的建设行为给予相应的回报。我们也有理由期待，更多开发者能够找到解锁收入之门的关键钥匙，共同构建 Web3 更加美好的未来。如果对 Mirror World Smart Platform 有兴趣，可访问以下链接了解更多内容：产品体验申请：https://5uoekr5pezt.typeform.com/to/xVhzCLDZ Dashboard: https://app.mirrorworld.fun 开发者文档：https://mirrorworld.fun/docs 官网：https://mirrorworld.fun 推特：https://twitter.com/MirrorPlatform 博客：https://mirrorworld.fun/blog 来源：金色财经

金色财经2023-02-27

ChatGPT：OpenAI的技术「执拗」与「豪赌」

是那一年的 C 位主角。因为就在同年，Google 的 BERT 模型横空出世，以优异的效果吸引了几乎全部的目光（这个景象有点像现在的 ChatGPT，不禁感叹 Google 和 OpenAI 之间的「恩恩怨怨」真是天道好轮回）。图片来自 BERT 论文，从图示中可以一窥当年 BERT 对标的就是 GPT，并引以为傲地指出双向编码能力。 BERT 模型虽然也是采用和 GPT 一样的 Transformer 模型结构，但它几乎就是为「无监督预训练 + 下游任务微调」的范式量身定制的模型。和 GPT 相比，BERT 所使用的掩码语言模型任务（Masked Language Model）虽然让它失去了直接生成文本的能力，但换来的是双向编码的能力，这让模型拥有了更强的文本编码性能，直接的体现则是下游任务效果的大幅提升。而 GPT 为了保留生成文本的能力，只能采用单向编码。以当年的眼光来看，BERT 绝对是一个更加优秀的模型。因为既然 BERT 和 GPT 两者都是采用「预训练 + 微调」的范式，并且下游任务依然是分类、匹配、序列标注等等「经典」的 NLP 任务形式，那么像 BERT 模型这种更注重特征编码的质量，下游任务选一个合适的损失函数去配合任务做微调，显然比 GPT 这种以文本生成方式去「迂回地」完成这些任务更加直接。从 BERT 模型出来以后，「无监督训练 + 下游任务微调」的范式便奠定了它的霸主地位，各类沿着 BERT 的思路，琢磨「如何获得更好的文本特征编码」的方法大量涌现，以至于 GPT 这个以生成式任务为目标的模型显得像一个「异类」。马后炮地说，如果当时 OpenAI「顺应大势」，放弃生成式预训练这条路，也许我们要等更长的时间才能见到 ChatGPT 这样的模型。 GPT-2 带来的希望当然，我们现在见到了 ChatGPT，所以 OpenAI 没有放弃生成式预训练的路线。实际上坚持的「回报」隐约出现在了第二年，也就是 2019 年。OpenAI 发布了有 48 层 Transformer 结构的 GPT-2 模型。在发布的论文（Language Models are Unsupervised Multitask Learners）中，他们发现通过无监督数据配合生成式训练后，GPT 展示出了零样本（zero-shot）的多任务能力。而奇妙的是，这些多任务的能力并不是显式地、人为地加入到训练数据中的。用通俗的话来举个例子，GPT-2 其中一个展示出来的能力是做翻译，但令人吃惊的是，通常专门用来做翻译的模型是需要大量的平行语料（即两种不同语种之间配对的数据）进行监督训练，但 GPT-2 并没有使用这种数据，而仅仅是在大量的语料上进行生成式的训练，然后它就「突然」会做翻译了。这个发现或多或少地带有点颠覆性的意味，它向人们展示了三个重要的现象：想让模型去完成一种 NLP 任务，也许并不需要和任务匹配的标注数据。例如 GPT-2 训练时没有用标注的翻译数据，但它会做翻译；想让模型去完成一种 NLP 任务，也许并不需要和任务匹配的训练目标。例如 GPT-2 训练的时候并没有设计翻译任务和相关的损失函数，它只是在做语言模型任务。仅仅用语言模型任务（即生成式任务）训练的模型，也可以具有多任务的能力。例如 GPT-2 展现出了翻译、问答、阅读理解等等的能力。虽然以现在的眼光来看，当时的 GPT-2 所展示出来的各种能力还比较初级，效果距离使用监督数据微调后的一些其它模型还有明显的差距，但这并没有妨碍 OpenAI 对它所蕴含的潜在能力充满期待，以至于在论文摘要中的最后一句话中，他们提出了对 GPT 系列模型未来的期望： “These findings suggest a promising path towards building language processing systems which learn to perform tasks from their naturally occurring demonstrations.” 后来一系列事情的发展也证明了他们确实是一直朝着这个 promising path 的方向在前进。如果说在 2018 年，GPT 初代模型出来的时候，GPT 的生成式预训练还面临着被 BERT 这类以「提取特征」为目地的预训练模型在各方面碾压，那么在 GPT-2 中的发现，给了生成式预训练一个 BERT 类模型无法替代的潜在优势，即语言模型任务所带来的多任务能力，且这种多任务能力是无需标注数据的。当然，在那个时间点上，生成式的技术路径依然面临风险和挑战。毕竟当时的 GPT-2 在各任务上的表现还是差于经过微调的模型，这导致了 GPT-2 虽然有着翻译、摘要等等能力，但效果太差以至于无法实际使用。因此，如果在当时想要一个可用的翻译模型，最好的选择依然是老老实实用标注数据训练一个专门用来翻译的模型。 GPT-3，数据飞轮的开始从 ChatGPT 时代往回看，也许 OpenAI 在 GPT-2 中的发现确实坚定了他们对 GPT 系列模型的信心，并决定加大研发投入力度。因为在随后的 2020 年他们发布了 1750 亿参数量的 GPT-3，一个即便以现在的眼光去看也大得让人惊叹的模型。虽然 OpenAI 没有明确公开训练这个模型的费用，但大家的估算是当时花了 1200 万美元。同时公开的还有一篇长达 60 多页的论文（Language Models are Few-Shot Learners），其中详细阐述了这个新的庞然巨物所展示出来的新能力。最重要的发现莫过于论文标题中所说的，语言模型具有小样本（few-shot）学习的能力。小样本学习是一个机器学习领域的专业术语，但它有着很朴素的理念，即「人类是可以通过少量的几个例子就学会一个新的语言任务」。想象一下在语文课上学习怎么掌握「把」字句换成「被」字句样（雨把衣服淋湿了 —— 衣服被雨淋湿了）的情形，老师会给出几个例子，同学们就能够掌握这项能力。但对于深度学习模型来说，它通常需要学习（训练）成千上万的例子才能掌握一项新的能力，但大家发现 GPT-3 却像人类一样具有类似的能力。而且重点在于，只需要给它展示几个例子，它就会「有样学样」地完成例子给出的任务，而不需要进行额外的训练（即不需要进行常规训练中的梯度反传和参数更新）。后来的研究表明，这种能力是巨型模型所特有的，被业内叫做「在上下文中学习」（in context learning）的能力。 GPT-3 论文中所展示的英语翻译法语的 In context learning 能力。实际上，小样本学习能力本身并不是很惊人的发现。毕竟业内一直都在对小样本学习进行研究，很多专攻小样本学习的模型都有出色的小样本学习能力。但 GPT-3 展示出来的这种「在上下文中学习」的小样本能力却非常出人意料，其原因也和 GPT-2 所展示的多任务能力一样： GPT-3 并没有为了获得小样本的能力而在训练数据、训练方式上做特别的设计，它依然只是一个用语言模型任务训练的生成式模型； GPT-3 的小样本能力是以「在上下文中学习」的方式展现出来的。换句话说，想让它获得新的能力，不需要对它再训练，而只需要给它看几个示范的例子。除了这个能力以外，GPT-3 还展示出了优秀的文本生成能力，相比 GPT-2，它生成的内容更加流畅，而且可以生成很长的内容。这些能力综合体现在一个模型上，让 GPT-3 在当时成为了大家的关注焦点，它也成为 OpenAI 正式对外提供服务的模型。但随着这个模型服务的开放，越来越多的人尝试使用这个模型。从这时起，OpenAI 通过开放给公众的方式，同时也在收集着更具有多样性的数据（用户使用时输入的内容可能会被用于模型的训练，这一点是写在用户条款中的），这些数据在后来的模型迭代中也发挥着重要的作用。自此 GPT 系列模型的数据飞轮便转动了起来，越多优质的用户数据，迭代出效果越好的模型。与 ChatGPT 不同的是，GTP-3 并不是采用对话的形式交互的模型，而是一个文本的续写模型（也就是在你输入的文字后面接着往下写），因此它并不具备如今的 ChatGPT 所拥有的多轮对话能力。但它已经能够干很多的事情，例如编写故事、给邮件做自动补全等等。但同时，大家也慢慢发现了一些问题，例如它会一本正经地输出不符合事实的内容，并且会输出一些有害的言论等等。这是这种文本生成模型最突出的弊端，虽然经过多次迭代，但 ChatGPT 如今也依然面临类似的问题。 CodeX，让计算机自己写代码 OpenAI 在对 GPT-3 的研究中还有一个意外的发现，它能够根据一些注释生成很简单的代码。因此在随后的 2021 年，他们对生成代码这件事情进行了专门的研究投入，并发布了 CodeX 模型。它可以看作是一个有着代码专精能力的 GPT 模型，能够根据自然语言输入生成比较复杂的代码。从外部视角来看，我们无法判断代码生成的研究与 GPT 系列模型的研发是否在同时进行。但放在当时，让模型具有生成代码的能力，从实用化的角度来说确实更加具有意义，毕竟 GPT-3 还未拥有如今 ChatGPT 这般强悍的能力。另一方面，让模型去生成代码也能规避它生成有危害文本内容带来的风险。在 CodeX 论文中提及了几个要点，首先是让经过文本数据预训练的 GPT 模型在专门的代码数据（数据来自 github 的开源代码，一共 159G）上训练确实能够明显提升模型对代码的理解和输出能力。其次是论文中用的是一个 120 亿参数的「小」模型，这个信息从侧面反映出 OpenAI 内部除了对外开放接口的 1750 亿参数的 GPT-3 模型外，还有别的不同大小的模型版本。而加入代码训练，让模型获得理解和生成代码的决定，原本的初衷也许只是希望 GPT 能够多一种应用场景。它看似与 GPT 系列模型在理解和运用自然语言的能力没有太大的联系，但根据后续的研究（详细的分析请参考文章《拆解追溯 GPT-3.5 各项能力的起源》），增加对代码数据的训练很有可能触发了后来的 GPT 模型在自然语言上的复杂推理和思维链的能力。也许在 OpenAI 做 CodeX 之初并没有预料到会有这样的结果，但就像他们一直使用文本生成任务来做 GPT 模型，然后在 GPT-2 和 GPT-3 中「解锁」了「多任务的能力」和「在上下文中学习的能力」那样，代码数据的引入又一次让他们获得了意料之外的收获。虽然看上去似乎有一些偶然，但对技术路线的前瞻性认知，加上坚持与持续的投入显然是一个至关重要的因素。 InstructGPT，让 GPT 好好说话在前面我们提到了 GPT-3 虽然已经有很强的能力，但上线以后随着使用的人越来越多，也发现了很多问题，最严重的应该要数「一本正经地胡说八道」和「输出带有危害性的内容」这两点了。虽然在 2021 年 OpenAI 似乎暂时将重点放在了让模型理解和生成代码这件事情上，但他们应该一直在尝试解决 GPT-3 的这些问题。在 2022 年初，OpenAI 发表了 InstructGPT 的论文（Training language models to follow instructions with human feedback），从中我们可以一窥解决这些问题的方法。论文的核心理念是让模型接受人类的教导（反馈），这一点在标题中就已经开宗明义了。 GPT-3 之所以会出现「一本正经地胡说八道」和「输出有害的内容」这样的问题，其根源来自于它所使用的训练数据。像 GPT-3 这样的庞然大物，对数据的需求量是海量的。我们从 GPT-3 的论文中可以找到它的数据来源，大致可以划分为三类：网页内容、百科内容以及书籍。虽然网页内容的量非常大，但也非常「脏、乱、差」，自然会包含很多非真实性和有害的内容。GPT-3 在这些数据上进行训练，自然也就学到了这些东西。但作为一款对外提供服务的产品，GPT-3 的回答应该更小心一些。要解决这个问题，其中的一难点在于怎么去定义模型应该怎么说话。因为生成模型的输出内容是自然语言本身，而不是一个分类的标签或一个实体名词这种有明确的、客观对错的内容。没有明确的对错，就导致无法像训练经典的 NLP 模型那样直接针对目标设计训练任务。而 InstructGPT 给出的解决思路是非常直接的，既然对于「好的回答」这个评价指标有很多不同的影响因素，这些因素又相互交织在一起，那就让人来教它怎么写回答。因为人类是比较善于处理这种「既有明确的要求，又有模糊的范围」的问题的，让真人写一些「优秀范例」，让模型去学习这些「优秀范例」，这正是 InstructGPT 提出的总体思路。具体而言，InstructGPT 提出了两个阶段的路径来让 GPT 学习人类给出的「优秀范例」，第一阶段是监督学习，第二阶段是强化学习。在第一阶段中（对应下图中最左边的 Step 1），让真人根据不同的 Prompt（粗浅可以认为是我们使用 ChatGPT 时，在对话框里输入的那条文本，在业界这个东西叫做指令）写真实的、无害的、有用的回答。实际操作过程中，为了保证这些内容的质量，会给写回答的标注人员一些规范性的指引，然后让已经经过预训练的 GPT 模型在这些人类编辑的数据上继续训练。这一阶段可以看作是对模型的一种「规训」，用一个不严谨的类比来说，就像语文老师让你默写优秀范文那样。图片来自 InstructGPT 论文，提出通过监督式的指令微调 + 人类反馈的强化学习来让模型的输出变得合理。第二阶段是强化学习，技术上分为两步。第一步（对应上图中间的 Step 2）是让被「规训」后的模型根据不同的 Prompt 生成多个不同的回答，并由人来给这些回答按照好与差的标准来排序。然后用这些标注了优劣之分的数据训练一个打分模型，让它可以自动给更多的数据进行排序打分。强化学习阶段的第二步（对应上图中右边的 Step 3）就是利用这个打分模型作为强化学习中的环境反馈，以策略梯度（Policy Gradient，准确地说是 PPO 算法）的方式对已经「规训」后的 GPT 模型进行训练。整个第二阶段的过程可以看作是对模型的一种「强化」，再用一个不严谨的类比来说，就像语文老师给你写的作文打分，让你从分数中分辨什么是好与不好，然后不断进步。因此，用一种非常不严谨，但普通人或许也能够理解的方式来说，InstructGPT 先是让一个「口无遮拦」的 GPT 通过「默写人类的优秀范文」的方式初步学会「好好说话」，然后再「给它独自写出来的东西打个分，让它回去好好领悟，继续进步」。当然，在技术上牵涉事情会更复杂一些，比如「优秀范文」的具体规范和数量等数据上的问题，以及强化学习中打分模型的选择，算法参数的设置等算法上的问题，都会对最后的效果产生影响。但最终的结果表明，这种方式是非常有效的，论文中也指出一个通过上述方式训练出来的 13 亿的小模型，效果就能够超过没有经过这种训练的更大的模型。另外论文中还有一些非常值得一提的内容。首先是关于 Prompt 的一些发现。InstructGPT 训练时所使用的 Prompt 主要由两部分构成，一部分是专门的 AI 训练师编写的，另一部分自来 OpenAI 的模型在线服务期间，由用户使用中编写的内容，这时数据飞轮的作用就体现了。可以发现，无论是哪种，这些 Prompt 都是由真人写出来的，虽然文章中没有对这些 Prompt 的具体涵盖范围、分布情况以及提问的方式展开详细的分析，但可以合理地猜测这些 Prompt 具有一定的多样性和较高的质量。其实文章中对比了使用这些真人编写的 Prompt 训练的模型和使用一些开源 NLP 任务数据集中构建的 Prompt（例如 T0 数据集、FLAN 数据集）训练出来的模型，结论是由真人编写 Prompt 训练出来的模型，给出的答案更加能被评测的人接受。另外一点是关于训练好的模型对新的 Prompt 的泛化能力的问题，可想而知的是，如果训练完成的模型无法产生 Prompt 的泛化能力，那么现在 ChatGPT 所表现出来的，几乎百问百答的能力是不太可能产生的。因为在模型做微调的阶段，即便是再多的数据，也不可能把人们有可能会输入的内容都覆盖完整。而 InstrctGPT 论文中点明了文中所采用的方法是可以产生 Prompt 的泛化能力的。之所以花了更多的文字对 InstructGPT 做介绍，因为根据 ChatGPT 官方页面的介绍，InstructGPT 中的方法正是用来训练 ChatGPT 的方法，不同的只是 ChatGPT 使用了对话式的数据组织方式。 GPT-3.5 时代和 ChatGPT 的诞生在随后的时间内，OpenAI 发布了多个被称为 GPT-3.5 系列的模型，虽然这些模型并未有相关的论文跟随发表，但根据这篇文章的分析，GPT-3.5 系列应该是融合了 OpenAI 在 GPT-3 时代积累的技术、数据以及经验开发出来的。由于没有详细的官方公开信息参考，关于这些模型的具体资料，外界主要是通过分析使用的体验、相关的技术论文以及 OpenAI 的 API 文档介绍来进行推测。根据分析，GPT-3.5 系列的模型有可能并不是在 GPT-3 上继续微调而来，而很可能是将代码和自然语言的数据融合在一起，重新从零开始训练了一个基础模型。这个模型可能比 GPT-3 的 1750 亿参数量更大，它在 OpenAI 的 API 中被命名为 codex-davinci-002。然后在这个基础模型上，通过指令微调和人类反馈得到了一系列后续的模型，包括 ChatGPT。 GPT 系列模型的发展路径。简要地说，从 code-davince-002 这个模型开始，经过有监督的指令微调得到 text-davinci-002。以及后续的 text-davinci-003 和 ChatGPT，也是在 GPT-3.5 系列的某个模型上通过指令微调以及人类强化学习反馈得到的。并且 text-davinci-003 和 ChatGPT 都是在 2022 年 11 月发布的，不同的是 text-davinci-003 和 GPT-3 一样，是一个文本补全模型。而根据 ChatGPT 的官方介绍，它是通过将过往的数据处理成对话交互的形式，并增加了新的对话数据训练出来的。至此，我们大致回顾了 OpenAI GPT 系列模型从 2018 年的初代 GPT 到现在的 ChatGPT，一路发展迭代的过程。在这个过程中，OpenAI 一直保持着对生成式预训练模型这一技术路径的「执拗」，并且也一直从不断发展的 NLP 技术中吸纳新的方法，从最初的 Transformer 模型结构，到后来的指令微调（Prompt tuning）等技术的出现，这些因素共同促成了如今 ChatGPT 的成功。有了对 GPT 系列模型发展的了解，我们可以再回过头来看看如今的 ChatGPT。 3、走近再看 ChatGPT 在第一章节中我们阐述了 ChatGPT 出圈的原因主要是：「它以流畅、符合逻辑的自然语言来反馈人类对它输入的自然语言」，从而给与它交流的人带来了很强的「智能感」。在第二章节中通过回顾 GPT 系列模型的发展历史来了解 ChatGPT 成功之路。而这一章节会尝试以尽可能让圈外人都能理解的方式，稍微深入一些技术的内容，并且探讨一下当前的一些大型文本生成式模型为什么未能做到相同的效果。这一部份的主要参考来自于《深入理解语言模型的突现能力》和《拆解追溯 GPT-3.5 各项能力的起源》这两篇文章以及相关的一些论文，建议希望详细了解细节的读者阅读原文。虽然在第一章中指出，ChatGPT 所带来的惊艳效果是由许多不同的 NLP 任务综合体现出来的，但在分析它背后的技术时，还是通过将它的能力进行拆解会更加清晰明了一些。总体而言，ChatGPT 所体现出来的能力可以大致划分为以下几个维度： - 文本生成的能力：ChatGPT 的所有输出都是即使生成出来的文本，所以文本生成的能力是它最基本的要求。这一项能力实际上是来自于它的训练方式，ChatGPT 在预训练时，是一个标准的自回归语言模型任务，这是 OpenAI 所有 GPT 系列模型的基底。所谓的自回归语言模型任务，通俗的理解是这样的：它可以根据已经输入的文本，预测下一个 token 应该是什么。这里所说的 token，所代表的是模型所使用的最小单位的字符片段，它可以是字（在中文里采用字是很常见的），也可以是词（英文的每个词天然地被空格隔开了，所以常采用词），甚至是字母。但现在的方法通常采用的是子词（subword，介于字母和词之间，主要的目的是减少词表数量）。但不论是哪种，自回归语言模型任务的基本思路都是根据已经输入的文本，预测下一个要输出的文本是什么，就像下图的例子中那样：这个例子中，BOS 代表了输入的开头，而每个 token 是一个词，GPT 模型根据输入的「今天」和「天气」两个词，预测下一个要输出的是「不错」。在训练的时候，会准备很多文本数据，比如网页上的文章、各类书籍等等，只要是正常的文字内容，都可以用来训练。值得说明的是，这种数据不需要进行额外的人工标注，因为这类数据本来就是人写的，模型要做的事情就是根据这些人写出的文本，去学习「给定了前面的文字，接着这些文字后面这个地方应该是什么」的问题。这便是业内所称的「无监督训练」，实际上模型并不是真的没有监督（不然模型学什么呢？），只是它的数据不需要额外的人工标注。也正因为这个任务是不需要额外标注的，因此可以「免费」获得大量的数据，得益于互联网的普及，可以「轻松地」获得海量的由真人写出的文本内容用来训练。这一点也是 GPT 系列模型的特点之一，用海量的数据，去训练很大的模型。那么在我们使用 ChatGPT 的时候，它是怎么工作的呢？其实也和它的训练方式一样，模型会根据我们在对话框里输入的内容，去预测接在这些内容的下一个 token 是什么，得到这个 token 后，会将它与前面的内容拼接成一个新的文本给模型，模型再预测下一个 token，如此反复，直到满足某个条件后停止。这个停止的条件有很多不同的设计方式，比如可以是输出的文本达到特定的长度，又或者是模型预测出某个用来代表停止的特殊 token。另外值得一提的是，模型预测下一个 token 时，其实背地里是一个采样的过程。换句话说，模型在预测 token 时，输出的其实是所有可能出现的 token 的概率，然后从这个概率分布里采样一个 token。因此，在使用 ChatGPT 时，会发现即便对于相同的输入，它的输出每次也会不一样，因为在背地里它采样了不一样的 token 作为输出。了解这些之后，可以再回过头来思考一下模型在学什么。它在学习怎么回答问答吗？又或者说它在学习怎么理解自然语言所蕴含的信息、逻辑、情感？还是说它在学习海量的知识？从训练任务的设计来看，似乎都没有，它只是从海量的文本数据里，学习了「根据输入的这些文本，一个人类在后面会接着写什么」这件事。但正是这样的模型，在「进化」到 ChatGPT 时，它却掌握了丰富的知识、复杂的逻辑推理等等，它似乎掌握了一个人类运用语言所需要的几乎所有的能力。这是一件非常神奇的事情，它的「进化」历程将会在下一章节中做更加深入的介绍。 - 丰富的知识储备：ChatGPT 能够正确回答非常多的问题，包括历史、文学、数学、物理、编程等等。因为目前版本的 ChatGPT 并没有利用外部知识，因此这些知识的内容是「储存」在模型内部的。 ChatGPT 所拥有的丰富知识储备，来自于它的训练数据，以及它足够大的体量，以便学会这些内容。虽然官方并没有公开 ChatGPT 所使用的训练数据的具体细节，但从它的前身 GPT-3 的论文可以推测，这些数据大致可以分为三个大的范畴：网页内容、书籍内容以及百科内容。可想而知的是，这些内容天然地蕴含了大量的知识，百科和书籍自然不必说，而网页内容也包含了许多新闻、评论、观点等，并且网页也包括了很多专门的问答垂直类网站，这些都是 ChatGPT 的知识来源。在官方的介绍里指出 ChatGPT 无法回答 2021 年以后发生的事情，因此合理的猜测是训练的数据收集截止到 2021 年。但数据量只是其中一个方面，要让模型「掌握」这些数据，其自身的体量是不可能小的。以 GPT-3 为例，它有 1750 亿参数，可以粗浅地理解为，这些数据的内容以及模型的各项能力，都以这一个个参数的具体数值的形式，固定在了训练完成的模型中。感性的理解是，假设一个模型只有 1 个参数，那它什么也干不了。更严谨的分析和对比可以参考这篇论文《Holistic Evaluation of Language Models》的测评，方向性的结论是越大的模型，在需要知识来完成的任务上表现得越好。论文地址：https://arxiv.org/pdf/2211.09110.pdf - 逻辑推理与思维链的能力：从第一章图片中的鸡兔同笼的例子可以看出，ChatGPT 具有很强的逻辑推理能力。并且它能够将复杂的内容，通过拆解，分成多个小的步骤，一步步地进行推理，获得最后的答案，这种能力被称为思维链。从前面的介绍我们知道，模型在训练的时候并没有针对逻辑推理以及思维链做特定的设计。而当前的主流观点认为，逻辑推理和思维链很可能和两个因素相关，第一个是模型的体量，第二个是模型是否在代码数据上进行过训练。关于模型体量与推理、思维链能力的关系，在《深入理解语言模型的突现能力》中有对应的介绍。下面这张图展示了思维链能力与模型体量的关系。不同模型不同尺寸的思维链效果对比，图来自论文。GSM8K，SVAMP 和 MAWPS 是三个需要逻辑推理的数学应用题数据集，LaMDA，GPT 和 PaLM 分别是 3 个不同的模型。简要地说，图表中给出了三个不同的模型，在三个数学应用题数据集上的答对率。而值得关注的是以下几个方面：思维链的能力（蓝色实线）在模型体量够大的时候产生了效果上的突变；思维链的能力在模型够大的前提下，效果超过了标准的指令（Standard prompting，黑色实线）方法；思维链的能力在模型够大的情况下，可以接近甚至超过有监督的方法（橙色虚线）。用通俗的话来说，就是在模型足够大的时候，思维链的能力突然展现了出来，能够达到、甚至超过那些在推理数据集上专门进行有监督训练的模型。这个图也许部分解释了现在我们看到的 ChatGPT 所具有的优异推理和思维链能力。而另一个关于推理以及思维链能力的产生因素，与模型是否在代码数据上做过训练有关。目前这一点只是一个推论，《拆解追溯 GPT-3.5 各项能力的起源》中的分析表明体量类似的大型模型，没有在代码上做过训练的话，只有很弱或几乎没有思维链和推理能力。而 ChatGPT 确实是在代码数据上进行过训练的，这一点从它能够理解并生成代码也可以看出来。在第二章回顾发展历程中提到了，OpenAI 在 2021 年就发布了专门针对代码的 CodeX 模型，将代码数据加入 GPT 的训练数据应该就是从那时开始的。 - 按照人的提问或者指令给予回复的能力：ChatGPT 除了可以用狭义的基于「问答」形式的交互以外，还能够按照输入的要求进行回复。例如，在应对「帮我写一封信」这类指令式的要求时，它同样也展现出了优秀的能力。这种能力让它不仅是一个提供答案的「高级搜索引擎」，更是一种可以用自然语言来交互的文字处理工具。虽然目前大众普遍把目光聚焦在将 ChatGPT 作为一种类搜索引擎的工具，但查阅相关知识并给予回答并不是它的唯一能力。实际上，单就 ChatGPT 本身而言，回答知识性的问题并不是它的强项，毕竟它本身的训练数据被定格在了 2021 年。即便用更新的数据去训练，但它终究跟不上时事的变化，因此要将它用作知识性的问答工具，还是需要与搜索引擎等外部知识源做结合，就像现在 Bing 做的一样。但换一个角度来看，ChatGPT 像是一个「语言完备」的文本工具，也就是它能够按照你给它的要求，完成指定的、可以用文本形式表达出来的内容，就像下面这个例子。按照给定的计划内容生成英文邮件进行汇报。这里所说的「语言完备」，指的是运用语言的能力。可以看出上面这个例子里，其实不涉及知识性的内容，因为需要它写的内容已经提供给它了。但要写出这封邮件，涉及到的是运用语言的能力，比如遣词造句、语种切换、邮件格式等等。现在我们回过头来，尝试分析它的这种「按照指令完成任务」的能力是怎么获得的。在学界中，这种指令被称为 prompt，实际上对话中的用户输入、问答中的问题也是一种 prompt，因此可以粗浅地理解为，在聊天框里输入的所有内容都是 prompt。如果了解我们在本章第一节介绍语言模型的内容，那么更严谨一些的说法应该是「输入给模型的上文」都是 prompt。 ChatGPT 根据输入的指令（prompt）进行回复的能力，是来自于一种被称为指令微调的模型训练方式（prompt tuning）。其实原理很简单，模型依然还是「根据输入的内容，预测下一个 token 是什么」，只是在指令微调的阶段，输入的内容被换成了这些事先写好的 prompt，而 prompt 后面需要生成的内容，则是事先写好的答案。因此在这一阶段和一开始所说的无监督自回归语言模型训练，最大的不同在于数据。这里的数据，也就是 prompt 以及对应的回复，都是人写的，换句话说，这一阶段用的是人工标注的数据进行的监督训练。提到人工标注的数据，就自然牵涉到了所需要的数据量了，因为每一条标注数据都是需要成本的。如果是不需要标注（就像第一阶段的训练），那么自然有海量的文本数据可供训练，但如果要标注，那到底需要多少这种数据呢？要知道，让标注人员手写一个 prompt，然后再手写一个几百字的、真实详尽的回答，成本是很高的。根据论文《Training language models to follow instructions with human feedback》的介绍，所需要的数据其实不需要太多（相比于无监督阶段所使用的数据来说）。虽然具体到 ChatGPT 到底使用了多少没有确切的信息公开，但可以确定的是在数量级上一定远比用来进行无监督训练的网页、百科和书籍所构成的数据集要小非常多。论文地址：https://arxiv.org/pdf/2203.02155.pdf 只需要相对少量的人工标注的 prompt 数据就能达到让模型按照指令做出回复的目的，这一点背后其实隐含了一个现象，在学界内被称为 prompt 的泛化能力。可以想象一下，如今全世界都在不停的向 ChatGPT 提问，所提的问题也必定是千奇百怪的，这些问题其实就是一个个的 prompt。但用来对 ChatGPT 进行指令微调的 prompt 肯定不会有这么多，这说明模型在学习到了一定量的 prompt 和相应的答案以后，它能够「举一反三」地对它没有见过的 prompt 进行回答，这就是 prompt 的泛化能力。文章《拆解追溯 GPT-3.5 各项能力的起源》分析指出，这种泛化能力与在指令微调阶段让模型学习的标注数据数量以及多样性相关。此外，用少量的 prompt 数据就能微调出类似于 ChatGPT 这样拥有强大能力的模型，背后还隐含了另一个猜测，即模型所表现出来的各项能力，可能在无监督训练的阶段就已经存在于模型当中了。其实这也很好理解，毕竟相比于无监督的数据，这些人工标注的 prompt 数量太少了，很难想象模型是通过对这些仅有的标注数据学习而产生了各种各样的能力。从这个角度来说，指令微调的过程更多只是让模型学会按一定的规范来进行回复，而它的知识、逻辑等能力是早已存在的。 - 「客观公正」的能力：如果对 ChatGPT 询问一些有害或者有争议的问题，可以看到 ChatGPT 的回答都是非常「小心」的，很像是经过训练的新闻发言人般的回答。虽然它目前依然做得不够好，但这种能力是 OpenAI 敢将它公开作为一款产品使用的核心因素。让模型的输出符合人类的价值观是 OpenAI 一直在做的事情。早在 2020 年 GPT-3 的时候，OpenAI 就发现这种通过网上的数据训练出来的模型，会生成带有歧视、危险、争议的内容。作为一个对外提供服务的产品，这些有害的内容显然是不合适的。而现在的 ChatGPT 在这一点上有着明显的改善，让模型做出这种「行为改变」的主要方法也来自于 InstructGPT 的论文，更确切地说，是通过有监督的指令微调加上人类反馈的强化学习共同完成的，这一点在第二章中也已经做过介绍了。通过上述的分析可以发现，从技术方法的角度来说，ChatGPT 相关的内容都是已知的，但为什么当前只有它拥有如此惊艳的表现呢。实际上从 ChatGPT 推出之后，NLP 社区就一直在分析这其中的原因，虽然很多结论是推测性的，但也为同类模型的国产化带来一些启示。模型体量的因素能力涌现出现的前提是模型体量达到一定的规模，虽然没有具体的指标指引，但从目前的事实情况来看，类似于思维链等比较「高级」的能力，需要在数百亿参数量以上的模型中才表现得足够优异。数据量的因素模型的大小不是唯一的因素。DeepMind 在这篇论文《Training Compute-Optimal Large Language Models》提供了一些分析性的结论，指出训练的数据量需要随着模型的体量相应地增加，更确切地说，是模型训练时「见过的 token」数量，需要随着模型体量增加。论文地址：https://arxiv.org/pdf/2203.15556.pdf 数据质量的因素对于无监督的数据，数据量相对而言并不是很大的障碍，但数据质量往往更加容易被忽视。实际上在 GPT-3 的论文中，就有专门的内容介绍数据的处理工作。为了清洗 GPT-3 的训练数据，OpenAI 专门训练了一个数据过滤模型，来从海量的网页数据中获取更高质量的数据。相比而言，与 GPT-3 体量相当的一些开源模型，例如 Meta 的 Opt 和 BigScience 的 Bloom，似乎没有进行这一步清洗。这也许是这两个开源模型效果劣于 GPT-3 的原因之一。此外，数据质量的衡量维度不是单一的，诸如数据的多样性、内容重复度以及数据的分布情况都是需要考虑的因素。例如虽然 GPT-3 所使用的网页、百科、书籍这三大类数据中，网页数据的总量是最多的，但在训练时这三类数据的采样并不是按照实际数据的多寡进行的。另外值得一提的是，在指令微调的阶段，采用人工编写指令也许是一个重要的影响因素。InstructGPT 的论文明确指出在测评过程中，采用人工编写的指令训练出来的模型，比采用现有的 NLP 数据集通过模版的方式构建指令训练出来的模型有更好的效果。这也许解释了在 T0、FLAN 等由 NLP 数据集构成的指令数据集训练出来的模型为什么效果会差一些。训练过程的影响这类巨型模型在训练时通过集群进行训练，同时采用数据并行、模型并行以及 ZeRO 优化器（一种降低训练过程显存占用的方法），这些方式为训练的稳定性引入了更多的变量。如下这篇分析指出甚至模型是否采用 bfloat16 精度都对结果有明显的影响。分析链接：https://jingfengyang.github.io/gpt 相信了解了上面的这些内容，大家对复刻一个类 ChatGPT 的方式以及会面临的问题会有一个大致的了解。有幸的是 OpenAI 已经证明了这技术路径是能够走通的，ChatGPT 的出现也确实正在改变 NLP 技术的发展走向。 4、未来的展望 ChatGPT 从 2022 年 11 月上线以来，引起了极大的关注。相信即便是非专业领域，甚至是与计算机也很少打交道的群体，或多或少地都知道它的存在，这个现象本身就已经反映出它的出现有些不同寻常。圈外的大众更多的是以好奇、惊讶或者惊叹的方式来感性地认识它的出现。而对从业者来说，它的出现更多的是对未来技术走向的思考。从技术的角度来说，ChatGPT 的出现标志着 NLP 领域的又一次范式切换。之所以说是「又」一次，是因为在 2018 年，也就是初代 GPT 发布的那一年，与之同年发布的 BERT 模型以自身优异的表现，开创了 NLP 的「预训练 + 微调」范式的时代，具体内容在第二章中已经做过介绍了。这里主要介绍由 ChatGPT 开启的「文本生成 + 指令」的范式。具体来说，就是利用训练好的 ChatGPT 或类似的文本生成模型，通过输入适当的指令（prompt）来完成某一项具体的场景。这种范式与此前的 NLP 技术应用有很大的不同。不论是早期的利用 LDA、RNN 等统计模型或很小的深度学习模型的时代，还是后来利用 BERT 等预训练配合微调的时代，技术所提供的能力是相对原子化的，距离实际的应用场景有一定的距离。就拿前面举的让 ChatGPT 根据要求写英文邮件的例子，按照此前的做法，可能需要先抽取实体、事件等内容（比如时间、地点、事件等），然后通过模版或是模型形成邮件的样式，再通过一个翻译模型转化为英文。当然如果数据量足够训练端到端模型的情况下，也可以跳过中间的若干步骤。但不论采用哪种方式，要么需要将最终的场景拆解成原子化的 NLP 任务，要么需要对应的标注数据。而对于 ChatGPT 来说，只需要一个合适的指令。三个阶段的 NLP 技术范式。这种生成式模型搭配 prompt 的方式，直接略过了中间的各项 NLP 能力组件，用最直接的方式解决应用场景的问题。在这种范式下，完成终端应用的技术路径将不再是用单点 NLP 能力模块通过搭积木的方式组合起来。当然，这个过程不是一蹴而就的，也不意味着 NLP 的单点能力变得不重要。从测评的角度来说，每一个单点能力的好坏依然可作为评价模型效果的指标。并且，就某些场景来说单点能力依旧是一个强需求。例如在订票系统中本身就需要针对时间、地点进行提取。但与此前不同的是，ChatGPT 本身也可以完成单点能力，而不需要使用额外的功能模块。 ChatGPT 进行信息提取。 ChatGPT 进行情感判断。从这个角度来说，可以把 ChatGPT 看作是一个以自然语言作为交互媒介的 NLP 工具。如果说在过去，我们是通过模型 + 数据 + 设计训练任务的方式来完成某项 NLP 能力，那么 ChatGPT 则是通过设计指令来完成这些能力。可想而知，ChatGPT 的出现大大降低了 NLP 技术的应用门槛。但它目前还不是全能的。最重要的一点在于它缺乏准确可靠的垂直领域知识，为了让它的回答可靠，最直接的方式是为它提供外部的知识来源，就像微软将 Bing 的搜索结果作为它回答的信息来源那样。因此，「传统」的 NLP 技术并不会就此完全消亡，而是会以「辅助」的角色，作为目前 ChatGPT 短板的补充，这也许会是未来 NLP 技术应用的新范式。作者：追一科技来源：机器之心、DeFi之道来源：金色财经

金色财经2023-02-26

DMC有望超越Filecoin成为分布式存储公链的新星

O职务的265网站，于2007年出售给Google。在互联网行业享有常胜将军年美誉。 Victor Zhou是DMC的技术顾问和天使投资人，ERC-1202投票标准的第一作者，以及AlephCrypto的联合创始人。Victor Zhou也是知名的Web3开发者和投资者。 DMC汇集了来自世界各地的专业开发人员，他们具有独特的技术经验和区块链经验。他们致力于将DMC打造成全球最高效，最可靠的去中心化存储市场。 Datamallchain(DMC）背后强大的投资方和机构 DMC项目的背后主要有五个投资方： OKX：全球排名前2交易平台，专注于探索全球范围内最好的区块链项目。 Gate.io：全球前5名知名交易平台，专注于发掘价值投资，为区块链产业助力。领沨资本：李嘉诚旗下Web3.0基金，主要负责人为原Binance投资部执行董事。致力于投资全球早期Web 3.0风险企业。成功投资京东科技（JDT）、瑞士知名数字资产平台Crypto Finance、英国唯一的受监管跨国数字资产交易所Archax等 Draper Dragon：全球知名的早期投资基金，德鼎创新基金专注于发掘独角兽企业，成功投资Coinbase、VeChain（$VET）、Ballet（芭蕾钱包）、QTUM（$QTUM）、Oasis（$ROSE）等。 BTCM：比特矿业BIT Mining（纽约证券交易所代码：BTCM）全球首家区块链上市公司。也是区块链矿业知名上市公司。总结：去中心化是Web3的核心，而DMC是去中心化存储、数据库和计算服务的领导者。分布式存储是Web3的地基，DMC让Web3世界变得更安全更隐私，也更真实。DMC币有望将在2023第一季度末上线交易所进行交易，也将是一个很有潜力很有吸引力的币种，值得重点关注。来源：金色财经

金色财经2023-02-25

一览最近完成融资的 7 个有趣的 Web3 项目

风投部门 Alexa Fund 领投，Google Ventures、Galaxy Digital、Sony Japan、Animoca Brands、Craft Ventures 等参投，使 Superplastic 迄今为止筹集的资金总额达到 5800 万美元。官网：https://superplastic.co/ 5、Monad Monad Labs 由 TradFi 巨头 Jump Trading 的前团队创立，正在开发一种新的权益证明 (PoS) 区块链和去中心化计算平台 Monad，使性能和便携性达到最佳。Monad 通过对虚拟机设计和拜占庭容错 (BFT) 共识机制的算法改进，旨在达到以 1 秒的出块时间和 10,000 tps 性能的同时保持应用程序和基础设施的 EVM 兼容性。简而言之，Monad 将采用 PoS 共识机制，并将与 EVM 兼容。关于性能，他们围绕“异步、并行执行”，这让我想起了 Fantom...... 最近，Monad Labs 完成了 1900 万美元融资，由 Dragonfly Capital 领投， Placeholder Capital、Lemniscap、Shima Capital、Finality Capital、Naval Ravikant、Cobie、Hasu 等参投。融资用于开发，Monad 将在未来几个月内启动测试网，并计划在今年晚些时候部署主网。到目前为止，我对他们提供的技术印象不深。然而，在加密行业的知名风投的支持下，如果有空投，它一样可能会产生疯狂。官网：https://www.monad.xyz/ 6、Phi 在宏观经济逆风、俄乌冲突和几家加密公司破产的情况下，加密货币、NFT 和 DeFi 在 2022 年遭受重创。尽管存在这些挑战，但区块链游戏在 2022 年表现良好。显然，这一势头正在延续到 2023 年。正如 VC 投资者愿意向它们投资所表明的那样。 Phi 是一个社交游戏平台，基于 ENS，正在创建一个开放、包容的元宇宙土地系统。通过模拟城市、动物之森等熟悉的游戏画风，旨在使链上身份的可视化变得容易。它鼓励用户与各种 Web3 协议进行交互，这为整个加密生态系统提供了一个积极的反馈循环。在深入探索 Phi 之后，我确信这是一个向新手介绍 Web3/DeFi 的好项目。Phi 邀请用户进行“加密冒险”，例如领取 NFT、交换代币或购买 NFT。有任务和比赛，也会有相应的奖励。这是一个适合加密货币和 DeFi 初学者的项目。它是交互式的，可以在以太坊、Polygon 等多个链上进行任务。当你完成一个任务时，你会得到代币奖励。与其说是为了赚币，不如说是 Learn-To-Earn（边学边赚）。最近，Phi 完成了 200 万美元种子轮融资，Chapter One 和 Delphi Digital 领投，Polygon Ventures、Ryan Sean Adams（Bankless 联创）、David Hoffman（Bankless 联创）、Kartik Talwar（ETH Global 联创）、Scott Moore（Gitcoin 联创）等参投。本轮融资将用于加速 Phi 改进 UI/UX 和新社交/游戏功能的设计和开发，并创建社区以扩大与更多协议的合作，同时还会创建 Phi 的衍生产品。官网：https://philand.xyz/ 7、Space ID ENS 上线已有五年，它的成功激励着各大公链推出自己的域名服务。时至今日，域名服务已不是一件稀奇之事。 Space ID 正是其中之一。 Space ID 于 2022 年 9 月完成了由 Binance Labs 领投的种子轮融资，随后启动了其 .bnb 域名注册，并在这 6 个月内迅速获得了约 370,000 个注册和 175,000 个唯一域名持有者。同时，.bnb 域名服务已经与包括 BSCScan、Trust Wallet 等在内的 100 多个领先项目和协议进行了集成。2023 年 2 月，Space ID 团队宣布进行 2.0 升级，并与 Arb ID 合并，启动了 .arb 域名注册。 Space ID 正在成为一个具有多链域名和通用域名的域名服务网络，允许用户发现、注册、交易、管理 Web3 域名。目前，Space ID 支持三个区块链（以太坊、BSC 和 Arbitrum），希望以后会有更多。“通用域名”是最有趣的，有了它，无论是哪个区块链，你都将拥有一个可以在整个加密生态系统中通用的身份。最近，Space ID 完成了由 Polychain Capital 和 dao5 领投、Foresight Ventures 等参投的 1000 万美元战略轮融资。官网：https://beta.space.id/ 小结随着熊市的深入，风投和投资者在投资之前必须三思而后行。我喜欢这种方式，因为他们会被鼓励去寻找一个真正物有所值的项目。另一方面，项目创始人之间的竞争也越来越激烈，每个人都必须竭尽全力才能获得投资者的关注。在探索和撰写本文时，我发现新项目比以前的更有趣。新项目的整体质量正在提高，高估的趋势正在降低。尽管仍然会有许多荒谬的项目，但加密行业各个子领域的整体质量正在提高。风险提示：根据央行等部门发布的《关于进一步防范和处置虚拟货币交易炒作风险的通知》，本文内容仅用于信息分享，不对任何经营与投资行为进行推广与背书，请读者严格遵守所在地区法律法规，不参与任何非法金融行为。来源：金色财经

金色财经2023-02-25

新闻周刊 | 比特币市值超过Visa

金色财经2023-02-25

汤姆猫：2月22日接受机构调研，包括知名机构明达资产的多家机构参与

列产品连续 13 年稳居 iOS 及 Google Play 游戏综合下载榜全球十强。2022 年，汤姆猫家族 IP 游戏产品在美国、加拿大、英国、印度、印尼、阿根廷、哥伦比亚、秘鲁、土耳其、越南等多个国家表现优异，其中，上线于 2011 年的经典产品《会说话的狗狗本》在问世近 12 年后再度跻身美国、英国、加拿大等成熟市场的下载热门榜，而公司旗下《汤姆猫跑酷》《我的安吉拉 2》《我的汤姆猫 2》《汤姆猫总动员》等多款产品分别占据韩国、巴西、印度、印尼等多个市场的年轻人 MU 前五榜单。问：目前公司游戏产品储备的版号有哪些？答：2022 年至今，公司旗下《弹弹奇妙冒险》《种地勇者》《汤姆猫小小勇士》等多款游戏已获得版号。其中，由公司子公司广州金科研发的《弹弹奇妙冒险》已于去年第三季度上线国内市场，现阶段公司正重点推进该产品的小程序及海外发行；而在今年 1 月获得版号的《种地勇者》，预计将于 2023 年第二季度上线国内市场。在上述产品之外，公司已有多款游戏提交了版号申请，其中包括代理游戏《Sonic Dash Endless Running（暂译名音速快跑）》《Sonic Dash2 Sonic Boom （暂译名音速快跑 2）》《沼泽激战 2》等游戏以及公司自研游戏《汤姆猫闯乐园》《神王角斗》等产品。总体而言，目前公司的版号储备与申请情况与公司的游戏业务发展计划相匹配。问：公司接入 ChatGPT 后的产品形态及开发节奏如何？答：公司近年来持续推进在人机交互、脑机接口、云计算、大数据等互联网新兴业务领域的探索和研究，提升公司汤姆猫家族 IP 线上与线下交互的深度融合。此前，公司推出了 GameBud Talking Tom 语音智能产品，该智能产品可与公司旗下《汤姆猫跑酷》《汤姆猫英雄跑酷》等游戏产品进行链接，实现游戏陪玩、线下交流、语音互动等多个功能，该产品的推出进一步强化了 IP 与用户之间的交互体验，为用户带来有高度氛围感的游戏与互动体验，为公司后续逐步推进人机交互业务积累经验。公司关注到 ChatGPT 相关技术的应用后，基于汤姆猫家族 IP 的交互属性以及公司前期积累的语音交互技术、产品研发与运营经验，公司团队已尝试应用 ChatGPT 模型进行 I 语音互动产品功能原型测试，以验证相关技术与公司产品结合进行综合开发的可行性。与此同时，公司也将持续推进与相关科研院校、业内企业的交流与合作，努力将“会说话的汤姆猫”在未来迭代为“会聊天的汤姆猫”，为用户打造更逼真、更人性化的交互体验。目前，公司语音互动产品功能原型测试主要围绕“聊天”“问”等场景，相关产品能否上线，以及是否能够达到预期，存在一定不确定性。问：请公司目前测试的语音交互产品接入 ChatGPT 接口是否受国内相关政策影响？答：目前公司团队已尝试应用 ChatGPT 模型进行 I 交互产品开发的初步测试，为了更好、更全面地提升产品的使用体验，公司上述测试模型通过 ChatGPT 海外接口接入。公司正加快推进测试产品的更新以及正式产品的上线。后续随着国内外 ChatGPT 等同类技术的优化更新，公司将持续完善产品接口测试，并根据国内、国外接口的优劣分析，海内外用户分布，相关政策等综合因素选择适合公司的接口。截至目前，公司未收到有关部门关于限制产品接入 ChatGPT 接口的相关通知，公司产品的测试进展未受到影响。公司上述测试的 ChatGPT 模型的应用尚处于前期测试阶段，产品效果及未来的市场表现存在一定不确定性。问：接入 ChatGPT 的相关产品推出后，公司在算力和模型如何规划？答：未来随着数字经济的飞速发展，算力将成为社会经济中的必需品，在智能制造、智慧城市、智慧医疗、无人驾驶汽车等应用场景落地过程中，都将离不开庞大算力的支持。公司在积极探索汤姆猫家族 IP 优质内容与新兴科技融合的过程中，也对未来作为基础设施的算力枢纽保持持续关注，并将结合自身产品情况应用相关技术及硬件设备。汤姆猫（300459）主营业务：移动互联网文化产业汤姆猫2022三季报显示，公司主营收入12.59亿元，同比下降10.18%；归母净利润4.0亿元，同比下降33.3%；扣非净利润3.85亿元，同比下降34.59%；其中2022年第三季度，公司单季度主营收入4.07亿元，同比下降16.12%；单季度归母净利润1.09亿元，同比下降41.77%；单季度扣非净利润1.07亿元，同比下降40.61%；负债率38.86%，投资收益1019.49万元，财务费用6137.63万元，毛利率94.46%。该股最近90天内无机构评级。融资融券数据显示该股近3个月融资净流入7.75亿，融资余额增加；融券净流入570.84万，融券余额增加。根据近五年财报数据，证券之星估值分析工具显示，汤姆猫（300459）行业内竞争力的护城河良好，盈利能力较差，营收成长性较差。财务可能有隐忧，须重点关注的财务指标包括：有息资产负债率。该股好公司指标2星，好价格指标1星，综合指标1.5星。（指标仅供参考，指标范围：0 ~ 5星，最高5星）以上内容由证券之星根据公开信息整理，与本站立场无关。证券之星力求但不保证该信息（包括但不限于文字、视频、音频、数据及图表）全部或者部分内容的的准确性、完整性、有效性、及时性等，如存在问题请联系我们。本文为数据整理，不对您构成任何投资建议，投资有风险，请谨慎决策。

证券之星2023-02-24

美股开盘：道指跌近350点中概股多数走低阿里、百度跌超4%

第1，霸榜App Store 69天、Google Play 114天　　全天候科技从拼多多跨境电商平台Temu招商侧获取的资料显示，截至2023年2月23日，Temu App新增下载量4000多万，新增用户增速第一，AppStore购物榜霸榜69天、Google Play购物榜霸榜114天；冠名2023北美“超级碗”电视广告覆盖1亿用户；单品日销过万件，单店日销过三万件。

金融界2023-02-24

ChatGPT的前世今生：OpenAI的技术「执拗」与「豪赌」

是那一年的 C 位主角。因为就在同年，Google 的 BERT 模型横空出世，以优异的效果吸引了几乎全部的目光（这个景象有点像现在的 ChatGPT，不禁感叹 Google 和 OpenAI 之间的「恩恩怨怨」真是天道好轮回）。图片来自 BERT 论文，从图示中可以一窥当年 BERT 对标的就是 GPT，并引以为傲地指出双向编码能力。 BERT 模型虽然也是采用和 GPT 一样的 Transformer 模型结构，但它几乎就是为「无监督预训练 + 下游任务微调」的范式量身定制的模型。和 GPT 相比，BERT 所使用的掩码语言模型任务（Masked Language Model）虽然让它失去了直接生成文本的能力，但换来的是双向编码的能力，这让模型拥有了更强的文本编码性能，直接的体现则是下游任务效果的大幅提升。而 GPT 为了保留生成文本的能力，只能采用单向编码。以当年的眼光来看，BERT 绝对是一个更加优秀的模型。因为既然 BERT 和 GPT 两者都是采用「预训练 + 微调」的范式，并且下游任务依然是分类、匹配、序列标注等等「经典」的 NLP 任务形式，那么像 BERT 模型这种更注重特征编码的质量，下游任务选一个合适的损失函数去配合任务做微调，显然比 GPT 这种以文本生成方式去「迂回地」完成这些任务更加直接。从 BERT 模型出来以后，「无监督训练 + 下游任务微调」的范式便奠定了它的霸主地位，各类沿着 BERT 的思路，琢磨「如何获得更好的文本特征编码」的方法大量涌现，以至于 GPT 这个以生成式任务为目标的模型显得像一个「异类」。马后炮地说，如果当时 OpenAI「顺应大势」，放弃生成式预训练这条路，也许我们要等更长的时间才能见到 ChatGPT 这样的模型。 GPT-2 带来的希望当然，我们现在见到了 ChatGPT，所以 OpenAI 没有放弃生成式预训练的路线。实际上坚持的「回报」隐约出现在了第二年，也就是 2019 年。OpenAI 发布了有 48 层 Transformer 结构的 GPT-2 模型。在发布的论文（Language Models are Unsupervised Multitask Learners）中，他们发现通过无监督数据配合生成式训练后，GPT 展示出了零样本（zero-shot）的多任务能力。而奇妙的是，这些多任务的能力并不是显式地、人为地加入到训练数据中的。用通俗的话来举个例子，GPT-2 其中一个展示出来的能力是做翻译，但令人吃惊的是，通常专门用来做翻译的模型是需要大量的平行语料（即两种不同语种之间配对的数据）进行监督训练，但 GPT-2 并没有使用这种数据，而仅仅是在大量的语料上进行生成式的训练，然后它就「突然」会做翻译了。这个发现或多或少地带有点颠覆性的意味，它向人们展示了三个重要的现象：想让模型去完成一种 NLP 任务，也许并不需要和任务匹配的标注数据。例如 GPT-2 训练时没有用标注的翻译数据，但它会做翻译；想让模型去完成一种 NLP 任务，也许并不需要和任务匹配的训练目标。例如 GPT-2 训练的时候并没有设计翻译任务和相关的损失函数，它只是在做语言模型任务。仅仅用语言模型任务（即生成式任务）训练的模型，也可以具有多任务的能力。例如 GPT-2 展现出了翻译、问答、阅读理解等等的能力。虽然以现在的眼光来看，当时的 GPT-2 所展示出来的各种能力还比较初级，效果距离使用监督数据微调后的一些其它模型还有明显的差距，但这并没有妨碍 OpenAI 对它所蕴含的潜在能力充满期待，以至于在论文摘要中的最后一句话中，他们提出了对 GPT 系列模型未来的期望： “These findings suggest a promising path towards building language processing systems which learn to perform tasks from their naturally occurring demonstrations.” 后来一系列事情的发展也证明了他们确实是一直朝着这个 promising path 的方向在前进。如果说在 2018 年，GPT 初代模型出来的时候，GPT 的生成式预训练还面临着被 BERT 这类以「提取特征」为目地的预训练模型在各方面碾压，那么在 GPT-2 中的发现，给了生成式预训练一个 BERT 类模型无法替代的潜在优势，即语言模型任务所带来的多任务能力，且这种多任务能力是无需标注数据的。当然，在那个时间点上，生成式的技术路径依然面临风险和挑战。毕竟当时的 GPT-2 在各任务上的表现还是差于经过微调的模型，这导致了 GPT-2 虽然有着翻译、摘要等等能力，但效果太差以至于无法实际使用。因此，如果在当时想要一个可用的翻译模型，最好的选择依然是老老实实用标注数据训练一个专门用来翻译的模型。 GPT-3，数据飞轮的开始从 ChatGPT 时代往回看，也许 OpenAI 在 GPT-2 中的发现确实坚定了他们对 GPT 系列模型的信心，并决定加大研发投入力度。因为在随后的 2020 年他们发布了 1750 亿参数量的 GPT-3，一个即便以现在的眼光去看也大得让人惊叹的模型。虽然 OpenAI 没有明确公开训练这个模型的费用，但大家的估算是当时花了 1200 万美元。同时公开的还有一篇长达 60 多页的论文（Language Models are Few-Shot Learners），其中详细阐述了这个新的庞然巨物所展示出来的新能力。最重要的发现莫过于论文标题中所说的，语言模型具有小样本（few-shot）学习的能力。小样本学习是一个机器学习领域的专业术语，但它有着很朴素的理念，即「人类是可以通过少量的几个例子就学会一个新的语言任务」。想象一下在语文课上学习怎么掌握「把」字句换成「被」字句样（雨把衣服淋湿了 —— 衣服被雨淋湿了）的情形，老师会给出几个例子，同学们就能够掌握这项能力。但对于深度学习模型来说，它通常需要学习（训练）成千上万的例子才能掌握一项新的能力，但大家发现 GPT-3 却像人类一样具有类似的能力。而且重点在于，只需要给它展示几个例子，它就会「有样学样」地完成例子给出的任务，而不需要进行额外的训练（即不需要进行常规训练中的梯度反传和参数更新）。后来的研究表明，这种能力是巨型模型所特有的，被业内叫做「在上下文中学习」（in context learning）的能力。 GPT-3 论文中所展示的英语翻译法语的 In context learning 能力。实际上，小样本学习能力本身并不是很惊人的发现。毕竟业内一直都在对小样本学习进行研究，很多专攻小样本学习的模型都有出色的小样本学习能力。但 GPT-3 展示出来的这种「在上下文中学习」的小样本能力却非常出人意料，其原因也和 GPT-2 所展示的多任务能力一样： GPT-3 并没有为了获得小样本的能力而在训练数据、训练方式上做特别的设计，它依然只是一个用语言模型任务训练的生成式模型； GPT-3 的小样本能力是以「在上下文中学习」的方式展现出来的。换句话说，想让它获得新的能力，不需要对它再训练，而只需要给它看几个示范的例子。除了这个能力以外，GPT-3 还展示出了优秀的文本生成能力，相比 GPT-2，它生成的内容更加流畅，而且可以生成很长的内容。这些能力综合体现在一个模型上，让 GPT-3 在当时成为了大家的关注焦点，它也成为 OpenAI 正式对外提供服务的模型。但随着这个模型服务的开放，越来越多的人尝试使用这个模型。从这时起，OpenAI 通过开放给公众的方式，同时也在收集着更具有多样性的数据（用户使用时输入的内容可能会被用于模型的训练，这一点是写在用户条款中的），这些数据在后来的模型迭代中也发挥着重要的作用。自此 GPT 系列模型的数据飞轮便转动了起来，越多优质的用户数据，迭代出效果越好的模型。与 ChatGPT 不同的是，GTP-3 并不是采用对话的形式交互的模型，而是一个文本的续写模型（也就是在你输入的文字后面接着往下写），因此它并不具备如今的 ChatGPT 所拥有的多轮对话能力。但它已经能够干很多的事情，例如编写故事、给邮件做自动补全等等。但同时，大家也慢慢发现了一些问题，例如它会一本正经地输出不符合事实的内容，并且会输出一些有害的言论等等。这是这种文本生成模型最突出的弊端，虽然经过多次迭代，但 ChatGPT 如今也依然面临类似的问题。 CodeX，让计算机自己写代码 OpenAI 在对 GPT-3 的研究中还有一个意外的发现，它能够根据一些注释生成很简单的代码。因此在随后的 2021 年，他们对生成代码这件事情进行了专门的研究投入，并发布了 CodeX 模型。它可以看作是一个有着代码专精能力的 GPT 模型，能够根据自然语言输入生成比较复杂的代码。从外部视角来看，我们无法判断代码生成的研究与 GPT 系列模型的研发是否在同时进行。但放在当时，让模型具有生成代码的能力，从实用化的角度来说确实更加具有意义，毕竟 GPT-3 还未拥有如今 ChatGPT 这般强悍的能力。另一方面，让模型去生成代码也能规避它生成有危害文本内容带来的风险。在 CodeX 论文中提及了几个要点，首先是让经过文本数据预训练的 GPT 模型在专门的代码数据（数据来自 github 的开源代码，一共 159G）上训练确实能够明显提升模型对代码的理解和输出能力。其次是论文中用的是一个 120 亿参数的「小」模型，这个信息从侧面反映出 OpenAI 内部除了对外开放接口的 1750 亿参数的 GPT-3 模型外，还有别的不同大小的模型版本。而加入代码训练，让模型获得理解和生成代码的决定，原本的初衷也许只是希望 GPT 能够多一种应用场景。它看似与 GPT 系列模型在理解和运用自然语言的能力没有太大的联系，但根据后续的研究（详细的分析请参考文章《拆解追溯 GPT-3.5 各项能力的起源》），增加对代码数据的训练很有可能触发了后来的 GPT 模型在自然语言上的复杂推理和思维链的能力。也许在 OpenAI 做 CodeX 之初并没有预料到会有这样的结果，但就像他们一直使用文本生成任务来做 GPT 模型，然后在 GPT-2 和 GPT-3 中「解锁」了「多任务的能力」和「在上下文中学习的能力」那样，代码数据的引入又一次让他们获得了意料之外的收获。虽然看上去似乎有一些偶然，但对技术路线的前瞻性认知，加上坚持与持续的投入显然是一个至关重要的因素。 InstructGPT，让 GPT 好好说话在前面我们提到了 GPT-3 虽然已经有很强的能力，但上线以后随着使用的人越来越多，也发现了很多问题，最严重的应该要数「一本正经地胡说八道」和「输出带有危害性的内容」这两点了。虽然在 2021 年 OpenAI 似乎暂时将重点放在了让模型理解和生成代码这件事情上，但他们应该一直在尝试解决 GPT-3 的这些问题。在 2022 年初，OpenAI 发表了 InstructGPT 的论文（Training language models to follow instructions with human feedback），从中我们可以一窥解决这些问题的方法。论文的核心理念是让模型接受人类的教导（反馈），这一点在标题中就已经开宗明义了。 GPT-3 之所以会出现「一本正经地胡说八道」和「输出有害的内容」这样的问题，其根源来自于它所使用的训练数据。像 GPT-3 这样的庞然大物，对数据的需求量是海量的。我们从 GPT-3 的论文中可以找到它的数据来源，大致可以划分为三类：网页内容、百科内容以及书籍。虽然网页内容的量非常大，但也非常「脏、乱、差」，自然会包含很多非真实性和有害的内容。GPT-3 在这些数据上进行训练，自然也就学到了这些东西。但作为一款对外提供服务的产品，GPT-3 的回答应该更小心一些。要解决这个问题，其中的一难点在于怎么去定义模型应该怎么说话。因为生成模型的输出内容是自然语言本身，而不是一个分类的标签或一个实体名词这种有明确的、客观对错的内容。没有明确的对错，就导致无法像训练经典的 NLP 模型那样直接针对目标设计训练任务。而 InstructGPT 给出的解决思路是非常直接的，既然对于「好的回答」这个评价指标有很多不同的影响因素，这些因素又相互交织在一起，那就让人来教它怎么写回答。因为人类是比较善于处理这种「既有明确的要求，又有模糊的范围」的问题的，让真人写一些「优秀范例」，让模型去学习这些「优秀范例」，这正是 InstructGPT 提出的总体思路。具体而言，InstructGPT 提出了两个阶段的路径来让 GPT 学习人类给出的「优秀范例」，第一阶段是监督学习，第二阶段是强化学习。在第一阶段中（对应下图中最左边的 Step 1），让真人根据不同的 Prompt（粗浅可以认为是我们使用 ChatGPT 时，在对话框里输入的那条文本，在业界这个东西叫做指令）写真实的、无害的、有用的回答。实际操作过程中，为了保证这些内容的质量，会给写回答的标注人员一些规范性的指引，然后让已经经过预训练的 GPT 模型在这些人类编辑的数据上继续训练。这一阶段可以看作是对模型的一种「规训」，用一个不严谨的类比来说，就像语文老师让你默写优秀范文那样。图片来自 InstructGPT 论文，提出通过监督式的指令微调 + 人类反馈的强化学习来让模型的输出变得合理。第二阶段是强化学习，技术上分为两步。第一步（对应上图中间的 Step 2）是让被「规训」后的模型根据不同的 Prompt 生成多个不同的回答，并由人来给这些回答按照好与差的标准来排序。然后用这些标注了优劣之分的数据训练一个打分模型，让它可以自动给更多的数据进行排序打分。强化学习阶段的第二步（对应上图中右边的 Step 3）就是利用这个打分模型作为强化学习中的环境反馈，以策略梯度（Policy Gradient，准确地说是 PPO 算法）的方式对已经「规训」后的 GPT 模型进行训练。整个第二阶段的过程可以看作是对模型的一种「强化」，再用一个不严谨的类比来说，就像语文老师给你写的作文打分，让你从分数中分辨什么是好与不好，然后不断进步。因此，用一种非常不严谨，但普通人或许也能够理解的方式来说，InstructGPT 先是让一个「口无遮拦」的 GPT 通过「默写人类的优秀范文」的方式初步学会「好好说话」，然后再「给它独自写出来的东西打个分，让它回去好好领悟，继续进步」。当然，在技术上牵涉事情会更复杂一些，比如「优秀范文」的具体规范和数量等数据上的问题，以及强化学习中打分模型的选择，算法参数的设置等算法上的问题，都会对最后的效果产生影响。但最终的结果表明，这种方式是非常有效的，论文中也指出一个通过上述方式训练出来的 13 亿的小模型，效果就能够超过没有经过这种训练的更大的模型。另外论文中还有一些非常值得一提的内容。首先是关于 Prompt 的一些发现。InstructGPT 训练时所使用的 Prompt 主要由两部分构成，一部分是专门的 AI 训练师编写的，另一部分自来 OpenAI 的模型在线服务期间，由用户使用中编写的内容，这时数据飞轮的作用就体现了。可以发现，无论是哪种，这些 Prompt 都是由真人写出来的，虽然文章中没有对这些 Prompt 的具体涵盖范围、分布情况以及提问的方式展开详细的分析，但可以合理地猜测这些 Prompt 具有一定的多样性和较高的质量。其实文章中对比了使用这些真人编写的 Prompt 训练的模型和使用一些开源 NLP 任务数据集中构建的 Prompt（例如 T0 数据集、FLAN 数据集）训练出来的模型，结论是由真人编写 Prompt 训练出来的模型，给出的答案更加能被评测的人接受。另外一点是关于训练好的模型对新的 Prompt 的泛化能力的问题，可想而知的是，如果训练完成的模型无法产生 Prompt 的泛化能力，那么现在 ChatGPT 所表现出来的，几乎百问百答的能力是不太可能产生的。因为在模型做微调的阶段，即便是再多的数据，也不可能把人们有可能会输入的内容都覆盖完整。而 InstrctGPT 论文中点明了文中所采用的方法是可以产生 Prompt 的泛化能力的。之所以花了更多的文字对 InstructGPT 做介绍，因为根据 ChatGPT 官方页面的介绍，InstructGPT 中的方法正是用来训练 ChatGPT 的方法，不同的只是 ChatGPT 使用了对话式的数据组织方式。 GPT-3.5 时代和 ChatGPT 的诞生在随后的时间内，OpenAI 发布了多个被称为 GPT-3.5 系列的模型，虽然这些模型并未有相关的论文跟随发表，但根据这篇文章的分析，GPT-3.5 系列应该是融合了 OpenAI 在 GPT-3 时代积累的技术、数据以及经验开发出来的。由于没有详细的官方公开信息参考，关于这些模型的具体资料，外界主要是通过分析使用的体验、相关的技术论文以及 OpenAI 的 API 文档介绍来进行推测。根据分析，GPT-3.5 系列的模型有可能并不是在 GPT-3 上继续微调而来，而很可能是将代码和自然语言的数据融合在一起，重新从零开始训练了一个基础模型。这个模型可能比 GPT-3 的 1750 亿参数量更大，它在 OpenAI 的 API 中被命名为 codex-davinci-002。然后在这个基础模型上，通过指令微调和人类反馈得到了一系列后续的模型，包括 ChatGPT。 GPT 系列模型的发展路径。简要地说，从 code-davince-002 这个模型开始，经过有监督的指令微调得到 text-davinci-002。以及后续的 text-davinci-003 和 ChatGPT，也是在 GPT-3.5 系列的某个模型上通过指令微调以及人类强化学习反馈得到的。并且 text-davinci-003 和 ChatGPT 都是在 2022 年 11 月发布的，不同的是 text-davinci-003 和 GPT-3 一样，是一个文本补全模型。而根据 ChatGPT 的官方介绍，它是通过将过往的数据处理成对话交互的形式，并增加了新的对话数据训练出来的。至此，我们大致回顾了 OpenAI GPT 系列模型从 2018 年的初代 GPT 到现在的 ChatGPT，一路发展迭代的过程。在这个过程中，OpenAI 一直保持着对生成式预训练模型这一技术路径的「执拗」，并且也一直从不断发展的 NLP 技术中吸纳新的方法，从最初的 Transformer 模型结构，到后来的指令微调（Prompt tuning）等技术的出现，这些因素共同促成了如今 ChatGPT 的成功。有了对 GPT 系列模型发展的了解，我们可以再回过头来看看如今的 ChatGPT。 3、走近再看 ChatGPT 在第一章节中我们阐述了 ChatGPT 出圈的原因主要是：「它以流畅、符合逻辑的自然语言来反馈人类对它输入的自然语言」，从而给与它交流的人带来了很强的「智能感」。在第二章节中通过回顾 GPT 系列模型的发展历史来了解 ChatGPT 成功之路。而这一章节会尝试以尽可能让圈外人都能理解的方式，稍微深入一些技术的内容，并且探讨一下当前的一些大型文本生成式模型为什么未能做到相同的效果。这一部份的主要参考来自于《深入理解语言模型的突现能力》和《拆解追溯 GPT-3.5 各项能力的起源》这两篇文章以及相关的一些论文，建议希望详细了解细节的读者阅读原文。虽然在第一章中指出，ChatGPT 所带来的惊艳效果是由许多不同的 NLP 任务综合体现出来的，但在分析它背后的技术时，还是通过将它的能力进行拆解会更加清晰明了一些。总体而言，ChatGPT 所体现出来的能力可以大致划分为以下几个维度： - 文本生成的能力：ChatGPT 的所有输出都是即使生成出来的文本，所以文本生成的能力是它最基本的要求。这一项能力实际上是来自于它的训练方式，ChatGPT 在预训练时，是一个标准的自回归语言模型任务，这是 OpenAI 所有 GPT 系列模型的基底。所谓的自回归语言模型任务，通俗的理解是这样的：它可以根据已经输入的文本，预测下一个 token 应该是什么。这里所说的 token，所代表的是模型所使用的最小单位的字符片段，它可以是字（在中文里采用字是很常见的），也可以是词（英文的每个词天然地被空格隔开了，所以常采用词），甚至是字母。但现在的方法通常采用的是子词（subword，介于字母和词之间，主要的目的是减少词表数量）。但不论是哪种，自回归语言模型任务的基本思路都是根据已经输入的文本，预测下一个要输出的文本是什么，就像下图的例子中那样：这个例子中，BOS 代表了输入的开头，而每个 token 是一个词，GPT 模型根据输入的「今天」和「天气」两个词，预测下一个要输出的是「不错」。在训练的时候，会准备很多文本数据，比如网页上的文章、各类书籍等等，只要是正常的文字内容，都可以用来训练。值得说明的是，这种数据不需要进行额外的人工标注，因为这类数据本来就是人写的，模型要做的事情就是根据这些人写出的文本，去学习「给定了前面的文字，接着这些文字后面这个地方应该是什么」的问题。这便是业内所称的「无监督训练」，实际上模型并不是真的没有监督（不然模型学什么呢？），只是它的数据不需要额外的人工标注。也正因为这个任务是不需要额外标注的，因此可以「免费」获得大量的数据，得益于互联网的普及，可以「轻松地」获得海量的由真人写出的文本内容用来训练。这一点也是 GPT 系列模型的特点之一，用海量的数据，去训练很大的模型。那么在我们使用 ChatGPT 的时候，它是怎么工作的呢？其实也和它的训练方式一样，模型会根据我们在对话框里输入的内容，去预测接在这些内容的下一个 token 是什么，得到这个 token 后，会将它与前面的内容拼接成一个新的文本给模型，模型再预测下一个 token，如此反复，直到满足某个条件后停止。这个停止的条件有很多不同的设计方式，比如可以是输出的文本达到特定的长度，又或者是模型预测出某个用来代表停止的特殊 token。另外值得一提的是，模型预测下一个 token 时，其实背地里是一个采样的过程。换句话说，模型在预测 token 时，输出的其实是所有可能出现的 token 的概率，然后从这个概率分布里采样一个 token。因此，在使用 ChatGPT 时，会发现即便对于相同的输入，它的输出每次也会不一样，因为在背地里它采样了不一样的 token 作为输出。了解这些之后，可以再回过头来思考一下模型在学什么。它在学习怎么回答问答吗？又或者说它在学习怎么理解自然语言所蕴含的信息、逻辑、情感？还是说它在学习海量的知识？从训练任务的设计来看，似乎都没有，它只是从海量的文本数据里，学习了「根据输入的这些文本，一个人类在后面会接着写什么」这件事。但正是这样的模型，在「进化」到 ChatGPT 时，它却掌握了丰富的知识、复杂的逻辑推理等等，它似乎掌握了一个人类运用语言所需要的几乎所有的能力。这是一件非常神奇的事情，它的「进化」历程将会在下一章节中做更加深入的介绍。 - 丰富的知识储备：ChatGPT 能够正确回答非常多的问题，包括历史、文学、数学、物理、编程等等。因为目前版本的 ChatGPT 并没有利用外部知识，因此这些知识的内容是「储存」在模型内部的。 ChatGPT 所拥有的丰富知识储备，来自于它的训练数据，以及它足够大的体量，以便学会这些内容。虽然官方并没有公开 ChatGPT 所使用的训练数据的具体细节，但从它的前身 GPT-3 的论文可以推测，这些数据大致可以分为三个大的范畴：网页内容、书籍内容以及百科内容。可想而知的是，这些内容天然地蕴含了大量的知识，百科和书籍自然不必说，而网页内容也包含了许多新闻、评论、观点等，并且网页也包括了很多专门的问答垂直类网站，这些都是 ChatGPT 的知识来源。在官方的介绍里指出 ChatGPT 无法回答 2021 年以后发生的事情，因此合理的猜测是训练的数据收集截止到 2021 年。但数据量只是其中一个方面，要让模型「掌握」这些数据，其自身的体量是不可能小的。以 GPT-3 为例，它有 1750 亿参数，可以粗浅地理解为，这些数据的内容以及模型的各项能力，都以这一个个参数的具体数值的形式，固定在了训练完成的模型中。感性的理解是，假设一个模型只有 1 个参数，那它什么也干不了。更严谨的分析和对比可以参考这篇论文《Holistic Evaluation of Language Models》的测评，方向性的结论是越大的模型，在需要知识来完成的任务上表现得越好。论文地址：https://arxiv.org/pdf/2211.09110.pdf - 逻辑推理与思维链的能力：从第一章图片中的鸡兔同笼的例子可以看出，ChatGPT 具有很强的逻辑推理能力。并且它能够将复杂的内容，通过拆解，分成多个小的步骤，一步步地进行推理，获得最后的答案，这种能力被称为思维链。从前面的介绍我们知道，模型在训练的时候并没有针对逻辑推理以及思维链做特定的设计。而当前的主流观点认为，逻辑推理和思维链很可能和两个因素相关，第一个是模型的体量，第二个是模型是否在代码数据上进行过训练。关于模型体量与推理、思维链能力的关系，在《深入理解语言模型的突现能力》中有对应的介绍。下面这张图展示了思维链能力与模型体量的关系。不同模型不同尺寸的思维链效果对比，图来自论文。GSM8K，SVAMP 和 MAWPS 是三个需要逻辑推理的数学应用题数据集，LaMDA，GPT 和 PaLM 分别是 3 个不同的模型。简要地说，图表中给出了三个不同的模型，在三个数学应用题数据集上的答对率。而值得关注的是以下几个方面：思维链的能力（蓝色实线）在模型体量够大的时候产生了效果上的突变；思维链的能力在模型够大的前提下，效果超过了标准的指令（Standard prompting，黑色实线）方法；思维链的能力在模型够大的情况下，可以接近甚至超过有监督的方法（橙色虚线）。用通俗的话来说，就是在模型足够大的时候，思维链的能力突然展现了出来，能够达到、甚至超过那些在推理数据集上专门进行有监督训练的模型。这个图也许部分解释了现在我们看到的 ChatGPT 所具有的优异推理和思维链能力。而另一个关于推理以及思维链能力的产生因素，与模型是否在代码数据上做过训练有关。目前这一点只是一个推论，《拆解追溯 GPT-3.5 各项能力的起源》中的分析表明体量类似的大型模型，没有在代码上做过训练的话，只有很弱或几乎没有思维链和推理能力。而 ChatGPT 确实是在代码数据上进行过训练的，这一点从它能够理解并生成代码也可以看出来。在第二章回顾发展历程中提到了，OpenAI 在 2021 年就发布了专门针对代码的 CodeX 模型，将代码数据加入 GPT 的训练数据应该就是从那时开始的。 - 按照人的提问或者指令给予回复的能力：ChatGPT 除了可以用狭义的基于「问答」形式的交互以外，还能够按照输入的要求进行回复。例如，在应对「帮我写一封信」这类指令式的要求时，它同样也展现出了优秀的能力。这种能力让它不仅是一个提供答案的「高级搜索引擎」，更是一种可以用自然语言来交互的文字处理工具。虽然目前大众普遍把目光聚焦在将 ChatGPT 作为一种类搜索引擎的工具，但查阅相关知识并给予回答并不是它的唯一能力。实际上，单就 ChatGPT 本身而言，回答知识性的问题并不是它的强项，毕竟它本身的训练数据被定格在了 2021 年。即便用更新的数据去训练，但它终究跟不上时事的变化，因此要将它用作知识性的问答工具，还是需要与搜索引擎等外部知识源做结合，就像现在 Bing 做的一样。但换一个角度来看，ChatGPT 像是一个「语言完备」的文本工具，也就是它能够按照你给它的要求，完成指定的、可以用文本形式表达出来的内容，就像下面这个例子。按照给定的计划内容生成英文邮件进行汇报。这里所说的「语言完备」，指的是运用语言的能力。可以看出上面这个例子里，其实不涉及知识性的内容，因为需要它写的内容已经提供给它了。但要写出这封邮件，涉及到的是运用语言的能力，比如遣词造句、语种切换、邮件格式等等。现在我们回过头来，尝试分析它的这种「按照指令完成任务」的能力是怎么获得的。在学界中，这种指令被称为 prompt，实际上对话中的用户输入、问答中的问题也是一种 prompt，因此可以粗浅地理解为，在聊天框里输入的所有内容都是 prompt。如果了解我们在本章第一节介绍语言模型的内容，那么更严谨一些的说法应该是「输入给模型的上文」都是 prompt。 ChatGPT 根据输入的指令（prompt）进行回复的能力，是来自于一种被称为指令微调的模型训练方式（prompt tuning）。其实原理很简单，模型依然还是「根据输入的内容，预测下一个 token 是什么」，只是在指令微调的阶段，输入的内容被换成了这些事先写好的 prompt，而 prompt 后面需要生成的内容，则是事先写好的答案。因此在这一阶段和一开始所说的无监督自回归语言模型训练，最大的不同在于数据。这里的数据，也就是 prompt 以及对应的回复，都是人写的，换句话说，这一阶段用的是人工标注的数据进行的监督训练。提到人工标注的数据，就自然牵涉到了所需要的数据量了，因为每一条标注数据都是需要成本的。如果是不需要标注（就像第一阶段的训练），那么自然有海量的文本数据可供训练，但如果要标注，那到底需要多少这种数据呢？要知道，让标注人员手写一个 prompt，然后再手写一个几百字的、真实详尽的回答，成本是很高的。根据论文《Training language models to follow instructions with human feedback》的介绍，所需要的数据其实不需要太多（相比于无监督阶段所使用的数据来说）。虽然具体到 ChatGPT 到底使用了多少没有确切的信息公开，但可以确定的是在数量级上一定远比用来进行无监督训练的网页、百科和书籍所构成的数据集要小非常多。论文地址：https://arxiv.org/pdf/2203.02155.pdf 只需要相对少量的人工标注的 prompt 数据就能达到让模型按照指令做出回复的目的，这一点背后其实隐含了一个现象，在学界内被称为 prompt 的泛化能力。可以想象一下，如今全世界都在不停的向 ChatGPT 提问，所提的问题也必定是千奇百怪的，这些问题其实就是一个个的 prompt。但用来对 ChatGPT 进行指令微调的 prompt 肯定不会有这么多，这说明模型在学习到了一定量的 prompt 和相应的答案以后，它能够「举一反三」地对它没有见过的 prompt 进行回答，这就是 prompt 的泛化能力。文章《拆解追溯 GPT-3.5 各项能力的起源》分析指出，这种泛化能力与在指令微调阶段让模型学习的标注数据数量以及多样性相关。此外，用少量的 prompt 数据就能微调出类似于 ChatGPT 这样拥有强大能力的模型，背后还隐含了另一个猜测，即模型所表现出来的各项能力，可能在无监督训练的阶段就已经存在于模型当中了。其实这也很好理解，毕竟相比于无监督的数据，这些人工标注的 prompt 数量太少了，很难想象模型是通过对这些仅有的标注数据学习而产生了各种各样的能力。从这个角度来说，指令微调的过程更多只是让模型学会按一定的规范来进行回复，而它的知识、逻辑等能力是早已存在的。 - 「客观公正」的能力：如果对 ChatGPT 询问一些有害或者有争议的问题，可以看到 ChatGPT 的回答都是非常「小心」的，很像是经过训练的新闻发言人般的回答。虽然它目前依然做得不够好，但这种能力是 OpenAI 敢将它公开作为一款产品使用的核心因素。让模型的输出符合人类的价值观是 OpenAI 一直在做的事情。早在 2020 年 GPT-3 的时候，OpenAI 就发现这种通过网上的数据训练出来的模型，会生成带有歧视、危险、争议的内容。作为一个对外提供服务的产品，这些有害的内容显然是不合适的。而现在的 ChatGPT 在这一点上有着明显的改善，让模型做出这种「行为改变」的主要方法也来自于 InstructGPT 的论文，更确切地说，是通过有监督的指令微调加上人类反馈的强化学习共同完成的，这一点在第二章中也已经做过介绍了。通过上述的分析可以发现，从技术方法的角度来说，ChatGPT 相关的内容都是已知的，但为什么当前只有它拥有如此惊艳的表现呢。实际上从 ChatGPT 推出之后，NLP 社区就一直在分析这其中的原因，虽然很多结论是推测性的，但也为同类模型的国产化带来一些启示。模型体量的因素能力涌现出现的前提是模型体量达到一定的规模，虽然没有具体的指标指引，但从目前的事实情况来看，类似于思维链等比较「高级」的能力，需要在数百亿参数量以上的模型中才表现得足够优异。数据量的因素模型的大小不是唯一的因素。DeepMind 在这篇论文《Training Compute-Optimal Large Language Models》提供了一些分析性的结论，指出训练的数据量需要随着模型的体量相应地增加，更确切地说，是模型训练时「见过的 token」数量，需要随着模型体量增加。论文地址：https://arxiv.org/pdf/2203.15556.pdf 数据质量的因素对于无监督的数据，数据量相对而言并不是很大的障碍，但数据质量往往更加容易被忽视。实际上在 GPT-3 的论文中，就有专门的内容介绍数据的处理工作。为了清洗 GPT-3 的训练数据，OpenAI 专门训练了一个数据过滤模型，来从海量的网页数据中获取更高质量的数据。相比而言，与 GPT-3 体量相当的一些开源模型，例如 Meta 的 Opt 和 BigScience 的 Bloom，似乎没有进行这一步清洗。这也许是这两个开源模型效果劣于 GPT-3 的原因之一。此外，数据质量的衡量维度不是单一的，诸如数据的多样性、内容重复度以及数据的分布情况都是需要考虑的因素。例如虽然 GPT-3 所使用的网页、百科、书籍这三大类数据中，网页数据的总量是最多的，但在训练时这三类数据的采样并不是按照实际数据的多寡进行的。另外值得一提的是，在指令微调的阶段，采用人工编写指令也许是一个重要的影响因素。InstructGPT 的论文明确指出在测评过程中，采用人工编写的指令训练出来的模型，比采用现有的 NLP 数据集通过模版的方式构建指令训练出来的模型有更好的效果。这也许解释了在 T0、FLAN 等由 NLP 数据集构成的指令数据集训练出来的模型为什么效果会差一些。训练过程的影响这类巨型模型在训练时通过集群进行训练，同时采用数据并行、模型并行以及 ZeRO 优化器（一种降低训练过程显存占用的方法），这些方式为训练的稳定性引入了更多的变量。如下这篇分析指出甚至模型是否采用 bfloat16 精度都对结果有明显的影响。分析链接：https://jingfengyang.github.io/gpt 相信了解了上面的这些内容，大家对复刻一个类 ChatGPT 的方式以及会面临的问题会有一个大致的了解。有幸的是 OpenAI 已经证明了这技术路径是能够走通的，ChatGPT 的出现也确实正在改变 NLP 技术的发展走向。 4、未来的展望 ChatGPT 从 2022 年 11 月上线以来，引起了极大的关注。相信即便是非专业领域，甚至是与计算机也很少打交道的群体，或多或少地都知道它的存在，这个现象本身就已经反映出它的出现有些不同寻常。圈外的大众更多的是以好奇、惊讶或者惊叹的方式来感性地认识它的出现。而对从业者来说，它的出现更多的是对未来技术走向的思考。从技术的角度来说，ChatGPT 的出现标志着 NLP 领域的又一次范式切换。之所以说是「又」一次，是因为在 2018 年，也就是初代 GPT 发布的那一年，与之同年发布的 BERT 模型以自身优异的表现，开创了 NLP 的「预训练 + 微调」范式的时代，具体内容在第二章中已经做过介绍了。这里主要介绍由 ChatGPT 开启的「文本生成 + 指令」的范式。具体来说，就是利用训练好的 ChatGPT 或类似的文本生成模型，通过输入适当的指令（prompt）来完成某一项具体的场景。这种范式与此前的 NLP 技术应用有很大的不同。不论是早期的利用 LDA、RNN 等统计模型或很小的深度学习模型的时代，还是后来利用 BERT 等预训练配合微调的时代，技术所提供的能力是相对原子化的，距离实际的应用场景有一定的距离。就拿前面举的让 ChatGPT 根据要求写英文邮件的例子，按照此前的做法，可能需要先抽取实体、事件等内容（比如时间、地点、事件等），然后通过模版或是模型形成邮件的样式，再通过一个翻译模型转化为英文。当然如果数据量足够训练端到端模型的情况下，也可以跳过中间的若干步骤。但不论采用哪种方式，要么需要将最终的场景拆解成原子化的 NLP 任务，要么需要对应的标注数据。而对于 ChatGPT 来说，只需要一个合适的指令。三个阶段的 NLP 技术范式。这种生成式模型搭配 prompt 的方式，直接略过了中间的各项 NLP 能力组件，用最直接的方式解决应用场景的问题。在这种范式下，完成终端应用的技术路径将不再是用单点 NLP 能力模块通过搭积木的方式组合起来。当然，这个过程不是一蹴而就的，也不意味着 NLP 的单点能力变得不重要。从测评的角度来说，每一个单点能力的好坏依然可作为评价模型效果的指标。并且，就某些场景来说单点能力依旧是一个强需求。例如在订票系统中本身就需要针对时间、地点进行提取。但与此前不同的是，ChatGPT 本身也可以完成单点能力，而不需要使用额外的功能模块。 ChatGPT 进行信息提取。 ChatGPT 进行情感判断。从这个角度来说，可以把 ChatGPT 看作是一个以自然语言作为交互媒介的 NLP 工具。如果说在过去，我们是通过模型 + 数据 + 设计训练任务的方式来完成某项 NLP 能力，那么 ChatGPT 则是通过设计指令来完成这些能力。可想而知，ChatGPT 的出现大大降低了 NLP 技术的应用门槛。但它目前还不是全能的。最重要的一点在于它缺乏准确可靠的垂直领域知识，为了让它的回答可靠，最直接的方式是为它提供外部的知识来源，就像微软将 Bing 的搜索结果作为它回答的信息来源那样。因此，「传统」的 NLP 技术并不会就此完全消亡，而是会以「辅助」的角色，作为目前 ChatGPT 短板的补充，这也许会是未来 NLP 技术应用的新范式。来源：金色财经

金色财经2023-02-24

Web3 新基建

以选择 Amazon、Azure 和 Google Cloud 中任意一家服务商来储存数据、运行业务，可以便捷地将数据平滑迁移到其它云平台，也可以同时使用几种云服务。但为什么近几年只有以太坊一家独大？或许是因为现在去中心化世界只有一类数据信息，即数字资产，比如 NFT、SWAP 等。而很快，另一种甚至多种类型的数据即将到来，就比如 Web2 中充斥的大量不同信息，包括游戏、身份、背景和社交等数据信息。当这些数据出现在去中心化世界时，势必需要另一类账本去记录——当前区块链被特定的机制、性能以及生态局限。因此，未来会需要更多类型的链去适合不同类型的信息管理。 “打败以太坊的公链就能称霸区块链领域”，某种程度上来说，这是一个误解，也是一个伪命题。Web2 时代里没有出现的垄断，更不会在以去中心化为突出特征的 Web3 时代诞生。未来，是一个多链共存，但各有特色的时代。 Web3 新基建 Nervos 网络是一个开源的公共区块链生态系统和协议集合，采用分层架构，为一个通用的类似互联网的公共网络奠定基础。 Nervos 网络的底层采用的是 POW 的共识机制，在底层保障了整个网络的去中心化。虽然已经很少有公链坚持走 PoW 这条路。目前，ETH 已经由 PoW 转为 PoS ，很多人觉得 PoW 已经老了，PoS 才是未来。但笔者认为 PoW 还是 Web3 世界里必不可少的因素。Web3 侧重于用户数据的所有权，那么区别于 Web2 的信用必不可少，而区块链的信用来源就是其去中心化的理念。 PoS 作为项目早期的一种启动方式确实对于早期参与者有着巨大的优势，这也是我们看到越来越多的新项目选择了 PoS 的共识机制的原因，但随着时间的推移， PoS 所提供的安全壁垒并不会持续的提高，这使得后参与的人无法做到无差别的公平，去中心化也就无法得到保障，而去中心化和无差别的公平却正是 PoW 共识的优势所在。其次，得益于 Nervos 更加抽象的设计。 CKB 的交易可以更加抽象，允许开发者使用其他的验证算法; CKB 的虚拟机可以更加抽象，CKB-VM 内不包含任何编译合约; CKB的 Cell 模型更加抽象，每个 Cell 没有任何内部结构。正是因为这些抽象，使得开发者在 Nervos 网络上有了更多的自由，使得 Nervos 上可以构建更多富有想象力的产品。例如，最早知县带领的雷兔团队开发的 PortalWallet 钱包（一款无需管理助记词和地址的钱包），支持用户使用以太坊地址收发CKB；到后来的 UniPass ID （旨在为传统互联网用户进入 Web3 铺平通路并降低使用门槛，助推 Web3 的大规模普及）,可以直接使用邮箱作为用户的账户系统不需要用户保存复杂的私钥、助记词。这让我们看到了普通的互联网用户直接使用区块链上应用的可能。例如，支持不同公链地址进行管理 DID .bit（面向整个Web3的去中心化身份系统），让我们看到了 Nervos 网络链接所有区块链的可能; 还有最新的 JoyID （一个跨平台、跨终端、无密码无助记词的钱包方案）可以让用户使用 Face ID 和 Touch ID 来创建钱包，这些产品无一不展现着Nervos 抽象所带来的创造力。随着公链基础设施的逐渐完善，Web3 世界需要更多富有想象力的产品，以满足不同的功能应用。来源：金色财经

金色财经2023-02-24

英伟达FY2023 Q4业绩电话会高管解答财报

和 Microsoft Azure、Google GCP 以及其他即将推出的公司获得。在AI平台软件层，客户可以接入NVIDIA AI enterprise，用于训练和部署大型语言模型或其他AI工作负载。在预训练生成 AI 模型层，我们将为希望为其业务构建专有生成 AI 模型和服务的企业客户提供 NeMo 和 BioNeMo 可定制 AI 模型。借助我们的新商业模式，客户可以在他们的私有云和任何公共云中使用 NVIDIA 的全面人工智能计算。我们将在即将举行的 GTC 上分享有关 NVIDIA AI 云服务的更多详细信息，敬请关注。现在让我把它转回到科莱特的游戏上。科莱特克雷斯博彩收入为 18.3 亿美元，环比增长 16%，同比下降 46%。本财年收入为 90.7 亿美元，下降 27%。我们基于 Ada Lovelace 架构的 40 系列 GeForce RTX GPU 受到热烈欢迎，推动了连续增长。同比下降反映了渠道库存调整的影响，这在很大程度上已经过去了。在季节性强劲的第四季度，大多数地区的需求都很稳定。尽管中国在一定程度上受到 COVID 相关中断的影响，但我们对该市场复苏的早期迹象感到鼓舞。游戏玩家对新的 RTX4090、4080、4070 Ti 台式机 GPU 反响热烈，许多零售店和在线商店迅速脱销。旗舰级RTX 4090在Steam上的人气迅速飙升，夺得AI架构榜首，反映出游戏玩家对高性能显卡的渴望。本月早些时候，第一代基于 Ada 架构的游戏笔记本电脑上架零售，实现了 NVIDIA 有史以来最大的性能和能效飞跃。我们首次将发烧级 GPU 性能带到 14 英寸的纤薄笔记本电脑上，这是一个快速增长的细分市场，以前仅限于基本任务和应用程序。另一项创新是，我们将性能最佳的 90 级 GPU 引入笔记本电脑，这要归功于我们第五代 Max-Q 技术的能效。总而言之，RTX 40 系列 GPU 将为 [170] 游戏和创作者笔记本电脑提供动力，为精彩的返校季做好准备。现在有超过 400 款游戏和应用程序支持 NVIDIA 的 RTX 技术，用于实时光线追踪和 AI 驱动的图形。AI 架构采用我们的第三代 AI 驱动图形 DLSS 3，可大幅提升性能。对于最先进的游戏，赛博朋克 2077，最近添加了 DLSS 3，可在 4K 分辨率下将帧速率性能提高 3 到 4 倍。我们的 GeForce NOW 云游戏服务在多个维度、用户、游戏和性能方面继续扩展。它现在在 100 多个国家/地区拥有超过 2500 万会员。上个月，它在新的高性能终极会员等级中启用了 RTX 4080 图形马力。Ultimate 会员可以通过全光线追踪和 DLSS 3 从云端以高达每秒 240 帧的速度进行流式传输。就在昨天，我们与微软发布了一个重要公告。我们同意建立为期 10 年的合作伙伴关系，将 Microsoft 的 Xbox PC 游戏系列引入 GeForce NOW，其中包括 Minecraft、Halo 和 Flight Simulator 等大作。在微软对 Activision 的收购结束后，它将添加诸如使命召唤和守望先锋之类的游戏。转向专业可视化。营收为 2.26 亿美元，环比增长 13%，同比下降 65%。本财年收入为 15.4 亿美元，下降了 27%。连续增长是由在汽车和制造业垂直领域具有优势的桌面工作站推动的。同比下降反映了渠道库存调整的影响，我们预计该调整将在今年上半年结束。对 NVIDIA Omniverse 的兴趣持续增加，迄今为止已下载近 300,000 次，连接到第三方设计应用程序的 185 个连接器。最新发布的 Omniverse 具有许多功能和增强功能，包括支持 4K、实时路径跟踪、Omniverse Search 通过大型无标记 3D 数据库进行人工智能搜索，以及用于 AWS 的 Omniverse 云容器。让我们转向汽车。收入达到创纪录的 2.94 亿美元，比 [音频不清晰] 增长 17%，比一年前增长 135%。连续增长主要由人工智能汽车解决方案推动。电动汽车和传统原始设备制造商客户的新计划帮助推动了这一增长。本财年收入为 9.03 亿美元，增长 60%。在 CES 上，我们宣布与富士康建立战略合作伙伴关系，以开发自动化和自主车辆平台。该合作伙伴关系将提供规模化制造，以满足对 NVIDIA Drive 平台不断增长的需求。富士康将在其电动汽车中使用 NVIDIA Drive、Hyperion 计算和传感器架构。富士康将成为面向全球生产基于 NVIDIA Drive Orin 的电子控制单元的一级制造商。本季度我们也达到了一个重要的里程碑。NVIDIA Drive 操作系统获得了 TÜV SÜD 的安全认证，TÜV SÜD 是汽车行业最有经验和最严格的评估机构之一。凭借行业领先的性能和功能安全性，我们的平台满足自主运输所需的更高标准。转到损益表的其余部分。GAAP 毛利率为 63.3%，非 GAAP 毛利率为 66.1%。本财年 GAAP 毛利率为 56.9%，非 GAAP 毛利率为 59.2%。与去年同期相比，第四季度 GAAP 运营支出增长 21%，非 GAAP 运营支出增长 23%，这主要是由于薪酬和数据中心基础设施支出增加。按美国通用会计准则计算的营业费用环比持平，非美国通用会计准则营业费用下降 1%。我们计划在未来几个季度将它们保持在这个水平上相对平稳。全年 GAAP 运营费用增长 50%，非 GAAP 运营费用增长 31%。我们以股票回购和现金股息的形式向股东返还了 11.5 亿美元。截至第四季度末，到 2023 年 12 月，我们的股票回购授权剩余约 70 亿美元。让我看看 24 财年第一季度的前景。我们预计，在数据中心和游戏的强劲增长带动下，我们的 4 个主要市场平台中的每一个都将推动连续增长。收入预计为 65 亿美元，上下浮动 2%。GAAP 和非 GAAP 毛利率预计分别为 64.1% 和 66.5%，上下浮动 50 个基点。GAAP 运营费用预计约为 25.3 亿美元。非 GAAP 运营费用预计约为 17.8 亿美元。GAAP 和非 GAAP 其他收入和支出预计约为 5000 万美元，不包括非附属资产剥离的收益和损失。GAAP 和非 GAAP 税率预计为 13%，上下浮动 1%，不包括任何离散项目。最后，让我强调一下金融界即将发生的事件。我们将参加 3 月 6 日在旧金山举行的摩根士丹利技术会议和 3 月 7 日在波士顿举行的 Cowen Healthcare 会议。我们还将以虚拟方式主持 GTC，Jensen 的主题演讲将于 3 月 21 日开始。我们的财报电话会议定于 5 月 24 日星期三举行，讨论我们 24 财年第一季度的结果。 (这份记录可能不是100％的准确率，并且可能包含拼写错误和其他不准确的。提供此记录，没有任何形式的明示或暗示的保证。表达的记录任何意见并不反映老虎的意见)

老虎证券2023-02-23

24小时热点