FX168财经网_全球视野外汇黄金加密货币NFT资讯网

不论谁赢了ChatGPT大战英伟达都是最后的赢家

伟达第一次乘上时代的风车——加速计算、深度学习、挖矿、元宇宙，英伟达屡次踩中时代的风口。在它成立的短短 30 年里，芯片江湖已然换了人间，当年与 90 家显卡商厮杀落败的初创公司，早已成为市值最高的芯片霸主。英伟达屡次「躺赢」，离不开其掌舵者黄仁勋的战略眼光——总是能精准预判下一个技术变革，提前下手。在近日的财报电话会上，黄仁勋透露了：这一次，他提前看到的未来及其相应的战略布局。面对大语言模型加持的生成式 AI，「核弹厂」的野心远非提供「军火」。 ChatGPT 大战背后的「战争之王」去年 11 月底以来，OpenAI 让人们见识到了「通用智能」的厉害，依托大语言模型的 ChatGPT 所展现的思维链条（Chain of Thought）和自发涌现的各种能力（Emergence）令人惊艳——尽管 ChatGPT 本身没有知识和智慧，但是它做到了「让你以为它有知识甚至智慧」的程度。不久前，在加州大学伯克利分校哈斯商学院的炉边谈话上，黄仁勋兴奋地评价 ChatGPT 将开启科技行业的新纪元，也是人工智能和计算行业有史以来最美妙的事情。他说：「上一次看到一项如此多才多艺、可以解决问题并经常以多种方式带给人们惊喜的科技是什么时候？它可以写一首诗，可以填写电子表格，可以编写 SQL 查询并执行，可以写 Python 代码……对于很多一直致力于此的人来说，我们一直在等待这一刻，这是人工智能的 iPhone 时刻。我现在可以将它用作 API 并连接到电子表格、PPT、各个应用程序，它有让一切变得更好的潜力」。这是「AI 将重塑所有软件」的际遇，而要让生成式 AI 能够像 ChatGPT 这样展现五花八门的通识才能，必须依托像 GPT3.5 这样的底层大语言模型。人们将其比作移动互联网时代里安卓或 iOS。因此，大语言模型也就成为大厂和创业公司的必争之地。无论是「造」出这样一个大模型，还是运行这样一个大模型，都需要极大的算力，需要成千上万个 GPU。据报道，OpenAI 用了 10000 个英伟达的 GPU 来训练 ChatGPT。花旗集团估计，ChatGPT 的使用可能会在 12 个月内为英伟达带来 30 亿至 110 亿美元的销售额。此前，《中国电子报》采访业内人士表示，「大模型技术涉及 AI 开发、推理、训练的方方面面，所谓模型的『大』主要是参数量大、计算量大，需要更大体量的数据和更高的算力支撑。对于 GPU 厂商来说，大模型是值得期待的算力红利，尤其是通用性极强的英伟达」。全球来看，大算力芯片领域主要有两个玩家，英伟达和 AMD，从市占率来说，英伟达远超 AMD。根据 John Peddie Research 的数据，英伟达占据了 GPU 市场约 86% 的份额。这也就不难理解，在炙手可热的生成式 AI 浪潮下，英伟达被视为最大的潜在赢家。从财报上看，这波生成式 AI 对于英伟达的需求主要反映在数据中心业务。事实上，2023 整个财年的四个季度，数据中心已经替代了英伟达起家的支柱业务——游戏，成为第一大业务。 2022 财年第 4 季度——2023 财年第 4 季度，英伟达各个板块的营收 | 截图来源：Nvidia 2023 财年，数据中心总收入增长了 41%，达到创纪录的 150.1 亿美元。仅就第四季度而言，数据中心收入为 36.2 亿美元，贡献了英伟达全公司收入的 60% 左右。数据中心增长的基本盘来自于新一代旗舰产品 H100 的出货量持续走高、云的渗透率持续增长、以及超大规模客户扩大了 AI 布局。就 H100 而言，其收入在第二季度就已经远远高于 A100，后者的营收份额连续下降。据悉，H100 在训练方面比 A100 快 9 倍，在基于 Transformer 的大型语言模型推理方面比 A100 快 30 倍。同时，英伟达正在为越来越多的、快速增长的云服务商（Cloud Service Providers，简称 CSP）提供服务，包括甲骨文和一些专注于 GPU 的云服务提供商（GPU specialized CSPs）。在过去的 4 个季度中，CSP 客户贡献了数据中心收入的 40% 左右。下一步：AI 即服务财报电话会上，老黄透露了英伟达的新动向——AI 企业级服务上云。尽管更多信息会在十几天后的 GTC 大会上才宣布，但英伟达正与领先的云服务商合作提供 AI 即服务（AI-as-a-service），让企业可以访问英伟达的 AI 平台。据官方消息，客户将能够把 NVIDIA AI 的每一层（包括 AI 超级计算机、加速库软件或预训练的生成式 AI 模型等）作为云服务来使用。老黄阐述道，「技术突破的积累使 AI 到了一个拐点。生成式 AI 的多功能性和能力引发了世界各地企业开发和部署 AI 战略的紧迫感。然而，AI 超级计算机基础设施、模型算法、数据处理和训练技术仍然是大多数人无法克服的障碍。」基于这样的行业痛点，英伟达商业模式的下一个层次是：帮助每个企业客户都能使用 AI。客户使用自己的浏览器，就可以通过 NVIDIA DGX Cloud 来使用 NVIDIA DGX AI 超级计算机，该服务已经在 Oracle Cloud Infrastructure 上可用，预计不久后也将在 Microsoft Azure、Google Cloud 和其他平台上线。在 AI 平台软件层，客户将能够访问 NVIDIA AI Enterprise，以训练和部署大型语言模型或其他 AI 工作负载。而在 AI 模型即服务层，英伟达将向希望为其业务建立专有生成式 AI 模型和服务的企业客户提供 NeMo 和 BioNeMo 可定制 AI 模型。就其市场前景，黄仁勋认为，ChatGPT 让人们意识到计算机编程的民主化，几乎任何人都可以用人类语言向机器解释要执行的特定任务。因此，全世界 AI 基础设施的数量将会增长，「你会看到这些 AI 工厂无处不在」。人工智能的生产将会像制造业一样，在未来，几乎每个公司都会以智能的形式生产软件产品。数据进来了，只做一件事，利用这些数据产生一个新的更新模型。他进一步解释了 AI 工厂，「当原材料进入时，建筑或基础设施就会启动，然后一些改进的东西就会出现，这是非常有价值的，这就是所谓的工厂。所以我希望在世界各地看到 AI 的工厂。其中一些将托管在云中。其中一些将是本地的。会有一些很大，有些会非常大，然后会有一些更小。所以我完全期待这会发生。」事实上，老黄关于 AI 工厂愿景正在发生，上个月，他在公开演讲中声称，自从 ChatGPT 出现以来，可能已经有大约 500 家新创业公司开发出令人愉快的、有用的 AI 应用程序。基于这一前景，英伟达对数据中心的未来充满信心。CFO Cress 表示，通过新的产品周期、生成式 AI 以及人工智能在各个行业的持续采用，数据中心部门将持续实现增长。她说：「除了与每个主要的超大规模云服务商合作外，我们还与许多消费互联网公司、企业和初创企业合作。这一机会意义重大，推动数据中心的强劲增长，并将在今年加速增长。」汽车向上，游戏向下除了数据中心，英伟达其他的业务板块——游戏、汽车、专业视觉等，本季度的表现则有好有坏。其中，车用业务表现亮眼。财年总收入增长 60%，达到创纪录的 9.03 亿美元。第四季度收入创下 2.94 亿美元的纪录，较去年同期增长 135%，较上一季度增长 17%。无论是环比还是同比，车用业务均持续增长。根据英伟达，这些增长反映了自动驾驶解决方案的销售增长，面向电动汽车制造商的计算解决方案以及 AI 座舱解决方案的销售强劲。电动汽车和传统 OEM 客户的新项目助推了这一增长。值得注意的是，在今年 1 月初举行的 CES 大会上，英伟达宣布与富士康建立战略合作伙伴关系，共同开发基于 NVIDIA DRIVE Orin 和 DRIVE Hyperion 的自动驾驶汽车平台。相比之下，游戏业务依然深处泥潭之中。过去几个季度，RTX 4080 销售疲软、视频游戏行业下滑、加密货币市场疲软、以及去库存压力等因素，让英伟达的游戏业务持续低迷，尤其第三季度，游戏业务营收同比暴跌 51%。但就像 CFO Cress 所言，「最低点可能已经过去，而且事情可以改善前进。」第四季度，英伟达游戏营收为 18.3 亿美元，同比下降 46%，环比增长 16%，整个财年收入下降 27%。该季度和财年的同比下降反映了销售减少，背后是全球宏观经济低迷和中国放开疫情管控对游戏需求的影响。但环比三季度，英伟达的游戏业务还是取得了一定增长。这是由于受到基于 Ada Lovelace 架构的新 GeForce RTX GPU 的推出推动。黄仁勋也肯定了这一看法，他说：「游戏业正在从新冠肺炎疫情后的低迷中复苏，而且玩家们热烈欢迎使用 AI 神经渲染的 Ada 架构 GPU。」近日，游戏行业一个复苏的好迹象是：动视暴雪（Activision Blizzard）在第四季度实现了营收正增长，超出了预期。但仍要警惕——动视暴雪在 PC 和主机上销售游戏，而只有 PC 销售与英伟达相关，主机制造商使用 AMD 显卡。此外，在财报发布的前一天，英伟达宣布与微软签订了一项为期 10 年的协议，将 Xbox PC 游戏阵容引入 GeForce NOW，包括《我的世界（Minecraft）》、《光环（Halo）》和《微软模拟飞行（Microsoft Flight Simulator）》。待微软完成收购动视之后，GeForce NOW 将新增《使命召唤（Call of Duty）》和《守望先锋（Overwatch）》等游戏。除了游戏业务之外，专业视觉和 OEM 这两个部门的业务也较上一年有大幅下降。从中可以看出：半导体市场正在经历罕见的下行周期。专业视觉业务第四季度收入为 2.26 亿美元，较去年同期下降 65%，较上一季度增长 13%。财年总收入下降 27% 至 15.4 亿美元。该季度和财年同比下降反映了向合作伙伴销售较少以帮助减少渠道库存。环比增长是由台式工作站 GPU 推动的。 OEM 和其他收入同比下降 56%，环比增长 15%。财年收入下降 61%。该季度和财年同比下降是由笔记本 OEM 和加密货币挖掘处理器（CMP）推动的。在财年 2023 中，CMP 收入微不足道，而在财年 2022 中为 5.5 亿美元。风口上的赢家，为什么又是英伟达英伟达 30 年的发展史可以分为两段。从 1993 年到 2006 年，英伟达的目标是在竞争激烈的图形卡市场中存活下来，并创造了 GPU 这一革命性的技术；从 2006 年到 2023 年的转型，则主要是如何利用 CUDA 这一平台，将 GPU 应用于机器学习、深度学习、云计算等领域。后者让英伟达走上人工智能之旅，今天市值已经超过老牌霸主英特尔和 AMD，也是在今天生成式 AI 热潮下，英伟达再次站上风口的前提。在 2019 年的一次主题演讲中，黄仁勋分享了英伟达一次次重溯行业的缘起——找到了真正重要的问题并坚持。他说：「这使我们能够一次又一次地发明、重塑我们的公司、重溯我们的行业。我们发明了 GPU。我们发明了编程着色。是我们让电子游戏变得如此美丽。我们发明了 CUDA，它将 GPU 变成了虚拟现实的模拟器。」回到英伟达的起点。当时 Windows 3.1 刚刚问世，个人电脑革命才刚刚要开始。英伟达想要能找到一种方法让 3D 图形消费化、民主化，让大量的人能够接触到这项技术，从而创造一个当时不存在的全新行业——电子游戏。他们认为，如果做成，就有可能成为世界上最重要的技术公司之一。原因在于：三维图形主要表现为对现实的模拟，对世界的模拟相当复杂，如果知道如何创建难辨真假的虚拟现实，在所做的一切中模拟物理定律，并将人工智能引入其中，这一定是世界上最大的计算挑战之一。它沿途衍生的技术，可以解决惊人的问题。最有代表性的案例，就是通过 CUDA 等方案为计算、人工智能等带来了革新性影响，也让它在这一波生成式 AI 浪潮中处于最佳生态位。尽管 GPU 作为计算设备的发现经常被认为有助于引领围绕深度学习的「寒武纪大爆炸」，但 GPU 并不是单独工作的。英伟达内外的专家都强调，如果英伟达在 2006 年没有将 CUDA 计算平台添加到组合中，深度学习革命就不会发生。 CUDA（Compute Unified Device Architecture）计算平台是英伟达于 2006 年推出的软件和中间件堆栈，其通用的并行计算架构能够使得 GPU 解决复杂的计算问题。通过 CUDA，研究人员可以编程和访问 GPU 实现的计算能力和极致并行性。而在英伟达发布 CUDA 之前，对 GPU 进行编程是一个漫长而艰巨的编码过程，需要编写大量的低级机器代码。使用免费的 CUDA，研究人员可以在在英伟达的硬件上更快、更便宜地开发他们的深度学习模型。 CUDA 的发明起源于可程式化 GPU 的想法。英伟达认为，为了创造一个美好的世界，第一件要做的事情就是先模拟它，而这些物理定律的模拟是个超级电脑负责的问题，是科学运算的问题，因此，关键在于：怎么把一个超级电脑才能解决的问题缩小、并放进一台正常电脑的大小，让你能先模拟它，然后再产生画面。这让英伟达走向了可程式化 GPU，这是个无比巨大的赌注。彼时，英伟达花了三四年时间研发 CUDA，最后却发现所有产品的成本都不得不上升近一倍，而在当时也并不能给客户带来价值，客户显然不愿意买单。若要让市场接受，英伟达只能提高成本，但不提高售价。黄仁勋认为，这是计算架构的事情，必须要让每一台电脑都能跑才能让开发者对这种架构有兴趣。因此，他继续坚持，并最终打造出了 CUDA。但在那段时间，英伟达的利润「摧毁性」地下降，股票掉到了 1.5 美元，并持续低迷了大约 5 年，直到橡树岭国家实验室选择了英伟达的 GPU 来建造公用超级电脑。接着，全世界的研究人员开始采用 CUDA 这项技术，一项接着一项的应用，一个接着一个的科学领域，从分子动力学、计算物理学、天体物理学、粒子物理学、高能物理学……这些不同的科学领域开始采用 CUDA。两年前，诺贝尔物理学奖和化学奖得主，也都是因为有 CUDA 的帮助才得以完成自己的研究。当然，CUDA 也为英伟达的游戏提供了动力，因为虚拟世界里和现实世界的流体力学是一样的，像是粒子物理学的爆炸、建筑物的崩塌效果，和英伟达在科学运算中观察到的是一样的，都是基于同样的物理法则。然而，CUDA 发布后的前六年里，英伟达并未「全力投入」AI，直到 AlexNet 神经网络的出现。在即将到来的 GTC 大会上，黄仁勋邀请了 OpenAI 联创兼首席科学家 Ilya Sutskever，而 Sutskever 见证了英伟达这段在人工智能领域崛起的故事。 Sutskever 与 Alex Krizhevsky 及其博士生导师 Geoffrey Hinton 一起创建了 AlexNet，这是计算机视觉领域开创性的神经网络，在 2012 年 10 月赢得了 ImageNet 竞赛。获奖论文表明该模型实现了前所未有的图像识别精度，直接导致了此后十年里人工智能的主要成功故事——从 Google Photos、Google Translate 和 Uber 到 Alexa 和 AlphaFold 的一切。根据 Hinton 的说法，如果没有英伟达，AlexNet 就不会出现。得益于数千个计算核心支持的并行处理能力，英伟达的 GPU 被证明是运行深度学习算法的完美选择。Hinton 甚至在一次演讲上告诉在场的近千名研究人员都应该购买 GPU，因为 GPU 将成为机器学习的未来。在 2016 年接受福布斯采访时，黄仁勋说自己一直都知道英伟达图形芯片的潜力不止于为最新的视频游戏提供动力，但他没想到会转向深度学习。事实上，英伟达的深度神经网络 GPU 的成功是「一个奇怪的幸运巧合」，一位名叫 Sara Hooker 的作者在 2020 年发表的文章「硬件彩票」探讨了各种硬件工具成功和失败的原因。她说，英伟达的成功就像「中了彩票」，这在很大程度上取决于「硬件方面的进展与建模方面的进展之间的正确对齐时刻」。这种变化几乎是瞬间发生的。「一夜之间，需要 13000 个 CPU 的工作两个 GPU 就解决了」她说。「这就是它的戏剧性。」然而，英伟达并不同意这种说法，并表示，从 2000 年代中期开始英伟达就意识到 GPU 加速神经网络的潜力，即使他们不知道人工智能将成为最重要的市场。在 AlexNet 诞生的几年后，英伟达的客户开始购买大量 GPU 用于深度学习，当时，Rob Fergus（现任 DeepMind 研究科学家）甚至告诉英伟达应用深度学习研究副总裁 Bryan Catanzaro，「有多少机器学习研究人员花时间为 GPU 编写内核，这太疯狂了——你真的应该研究一下」。黄仁勋逐渐意识到 AI 是这家公司的未来，英伟达随即将把一切赌注押在 AI 身上。于是，在 2014 年的 GTC 主题演讲中，人工智能成为焦点，黄仁勋表示，机器学习是「当今高性能计算领域最激动人心的应用之一」。「其中一个已经取得令人兴奋的突破、巨大的突破、神奇的突破的领域是一个叫做深度神经网络的领域。」黄仁勋在会上说道。此后，英伟达加快布局 AI 技术，再也不只是一家 GPU 计算公司，逐渐建立了一个强大的生态系统，包括芯片、相关硬件以及一整套针对其芯片和系统进行优化的软件和开发系统。这些最好的硬件和软件组合平台，可以最有效地生成 AI。可以说，GPU + CUDA 改变了 AI 的游戏规则。中信证券分析师许英博在一档播客节目中评价道：英伟达一直在做一件非常聪明的事情，就是软硬一体。在 GPU 硬件半导体的基础上，它衍生出来了基于通用计算要用的 CUDA。这促成了英伟达拿到了软件和硬件的双重规模效应。在硬件端，因为它是图形和计算的统一架构，它的通用性保证了它有规模性，而规模性摊薄了它的研发成本，所以硬件上本身通过规模性可以拿到一个比较优势的研发成本。在软件端，因为它有庞大的开发者的生态，而这些宝贵的软件开发人员，即便是这些软件开发人员换了一个公司，但他可能还是在继续用 CUDA 的软件。主要参考文献： 1）《ChatGPT 火了，英伟达笑了》——中国电子报 2）Nvidia: The GPU Company (1993-2006) 3）Nvidia: The Machine Learning Company (2006-2022) 4）NVIDIA CEO Jensen Huang - AI Keynote Session at MSOE 5）Jensen Huang Q&A: Why Moore』s Law is dead, but the metaverse will still happen 6）How Nvidia dominated AI—and plans to keep it that way as generative AI explodes 7）中信证券许英博：从英伟达看国产 GPU 的挑战与前景 - 小宇宙 - 创业内幕来源：金色财经

金色财经2023-03-02

格灵深瞳：持续加强算法和软硬件研发投入

瞳大脑的基础上，公司自主研发形成了基于深度学习的模型训练与数据生产技术、3D立体视觉技术、自动化交通场景感知与事件识别技术、大规模跨镜追踪技术和机器人感知与控制技术等五大技术方向。在智慧金融、轨道交通等应用领域公司自研了行为识别、复杂三维物体识别的大模型。在产业链上和其他厂商有合作，例如芯片。 5、2022年管理比较严格，但公司的整体业绩增长比较好，特别是智慧金融领域，金融领域增长好的原因是什么？答：公司的主要客户比较优质，需求韧性和付费能力较强，已经中标的智慧金融业务在2022年持续交付，公司力争持续开拓更多的优质客户，增强业绩韧性和可持续经营能力。 6、智慧金融业务方面的市场竞争情况？答：公司认为金融业务领域的壁垒是综合性的。从技术角度来讲，这块业务领域除了人脸识别，还包括大量的行为分析和物体识别技术要求，而公司的在上述领域的算法技术指标、产品性能、解决方案完整度在行业里面均处于较领先的地位。从对银行客户需求、业务流程和应用场景的理解方面看，公司在智慧金融领域已经耕耘多年，具备先发优势，提供的产品和服务能够满足银行的需求。另外，公司产品的性价比较高，也可以满足客户的国产化、信创等方面的要求。关于下游需求的持续性方面，首先，公司提供的是云边端一体化的产品，客户使用产品过程中产生的数据会沉淀在公司为其打造的AI系统中，未来产品进行升级换代时，由于系统数据迁移成本较高，公司产品会形成较强的粘性。此外，目前公司提供的智慧金融产品所处细分赛道的渗透率较低，未来有更大的市场空间可供开拓。 7、公司其他下游比如商业零售以及城市管理领域，后续是否也能看到一个好的转机，今年这方面是不是有一些已经落地的项目或者案例？答：在城市管理领域，公司的经营策略是寻找相对较优质的业务，即毛利率较高和客户回款情况较好的业务。除安防业务外，公司在城市管理领域开展有交通业务，公司通过2022年设立的控股子公司开展智慧交通业务，包括车路协同等产品等，该控股子公司的核心人员有较深厚的交通领域专业经验，相信能为公司智能网联交通业务带来新活力。在商业零售领域，公司目前的客户主要为一些较为优质的房地产企业，本年计划继续拓展客户；在智慧油站方面，公司有一定的先发优势，若今年客户重启油站网点的智能化改造需求，公司将积极参与开拓业务。 8、公司过去几年整个费用率比较稳定。在2022年中报中研发人员有一个相对比较大的增长，是公司确实在研发端确实是投了一些人，还是公司人员的结构的统计口径变化导致人员的比较多的增长？人数激增的原因是什么？我们了解到很多同行业特别是做计算机软件类的公司说今年整体人员的投入规划会谨慎一点，公司今年在人员的费用和人员的投入方面是一个什么样的规划？从结构上来看，特别是销售和研发费用这两块，公司分别是什么样的看法？答：人员统计的口径没有任何变化。人员数量还保持增长的核心在于公司力图拓展轨交、体育和元宇宙等场景，希望从研发到产品再到商业化落地能够取得良好进展，另外，公司也在持续加强算法和软硬件研发投入。公司在招人的时候有所侧重，在现在这个阶段，侧重于增加研发人员占比，待产品更成熟时会增加销售端人员。公司将结合具体经营要求，有条不紊地安排和布局人员结构。计算机板块细分行业差异较大，而且每个公司的阶段差异也比较大。目前，公司看好行业的未来发展趋势，愿意做比较坚定的前期投入；同时，公司重视高人效的保持和提升，增加员工数量不是盲目的，而是在应用和底层的算法和软硬件研发方面有针对性的增加，合理控制人员数量的增速，力争让公司在短期业绩增长和中长期发展动能上找到平衡。（来源:界面AI）声明：本条内容由界面AI生成并授权使用，内容仅供参考，不构成投资建议。AI技术战略支持为有连云。

有连云2023-03-02

软通动力：ChatGPT是人工智能领域的最新成果，一定程度上代表着技术的发展和迭代

NLP、深度问答、智能对话、智能推理、深度学习、知识图谱自动构建、大数据管理等20项人工智能技术的专利和软件著作权。在人工智能领域，公司拥有RPA+AI一体机、智能流程机器人、虚拟数字人等一系列人工智能产品及解决方案。近日，公司与百度达成合作，成为百度生成式对话产品—文心一言的首批生态合作伙伴，优先内测试用文心一言，集成其技术能力，并将与百度在产品研发、标准制定等多个领域展开合作，共同为用户打造全场景的人工智能解决方案及服务。此外，作为RPA+AI领域实践先行者，公司通过联合创新不断探索不同行业的场景化应用。公司联合对外经贸大学数字经济实验室及战略大客户，共同筹备成立“数字机器人联合研究与应用中心”，进一步探索RPA数字机器人在提供管理服务、科研大数据处理能力与提高综合效率的场景应用。公司注意到，ChatGPT为当下资本市场热点，请广大投资者理性看待并审慎进行投资决策。未来公司将继续关注人工智能领域的前沿动态，并持续进行技术探索。谢谢您的关注。软通动力2022三季报显示，公司主营收入141.85亿元，同比上升18.46%；归母净利润6.72亿元，同比下降6.05%；扣非净利润5.94亿元，同比下降10.31%；其中2022年第三季度，公司单季度主营收入49.0亿元，同比上升12.75%；单季度归母净利润2.42亿元，同比下降5.56%；单季度扣非净利润2.05亿元，同比下降14.05%；负债率36.39%，投资收益845.06万元，财务费用7518.08万元，毛利率21.47%。该股最近90天内共有6家机构给出评级，买入评级4家，增持评级2家；过去90天内机构目标均价为60.51。近3个月融资净流出2175.78万，融资余额减少；融券净流出776.81万，融券余额减少。根据近五年财报数据，证券之星估值分析工具显示，软通动力（301236）行业内竞争力的护城河良好，盈利能力一般，营收成长性一般。财务可能有隐忧，须重点关注的财务指标包括：有息资产负债率、应收账款/利润率。该股好公司指标2.5星，好价格指标2.5星，综合指标2.5星。（指标仅供参考，指标范围：0 ~ 5星，最高5星）软通动力（301236）主营业务：为通讯设备、互联网服务、金融、高科技与制造等多个行业客户提供端到端的软件与数字技术服务和数字化运营服务。以上内容由证券之星根据公开信息整理，与本站立场无关。证券之星力求但不保证该信息（包括但不限于文字、视频、音频、数据及图表）全部或者部分内容的的准确性、完整性、有效性、及时性等，如存在问题请联系我们。本文为数据整理，不对您构成任何投资建议，投资有风险，请谨慎决策。

证券之星2023-03-02

凯撒文化：《我开动物园那些年》还没有上线运营

研发剧情动画生成系统，在AI视频图像和深度学习等领域，打造一个鲜活的虚拟世界等相关AI技术。感谢您的关注与支持。投资者：郑董事长您好！请问关于贵司参股投资的双碧堂科技，其研发的《我开动物园那些年》手游产品有上线了？能说一下目前合作的情况吗？凯撒文化董秘：您好，《我开动物园那些年》还没有上线运营。感谢您的关注与支持。投资者：郑董事长您好！能介绍一下公司目前的游戏出海的情况吗？希望贵司抓住机遇，实现国内国外双循环，今年能有突破性进展。谢谢！凯撒文化董秘：您好，出海方面，子公司酷牛互动已经开始尝试海外手机游戏的运营，先后定制研发了数款面向海外的手机游戏。随着国产游戏在海外市场的占有率逐渐提升，公司将探索国际业务机遇，积极开拓海外市场，持续提升综合盈利能力，承担起传播中国文化的责任。感谢您的关注与支持。凯撒文化2022三季报显示，公司主营收入5.16亿元，同比下降25.47%；归母净利润-7511.99万元，同比下降131.03%；扣非净利润-7978.36万元，同比下降133.71%；其中2022年第三季度，公司单季度主营收入1.5亿元，同比下降32.73%；单季度归母净利润-2651.67万元，同比下降188.63%；单季度扣非净利润-3054.31万元，同比下降213.63%；负债率10.39%，投资收益203.9万元，财务费用454.86万元，毛利率19.62%。该股最近90天内无机构评级。近3个月融资净流入7083.64万，融资余额增加；融券净流入477.51万，融券余额增加。根据近五年财报数据，证券之星估值分析工具显示，凯撒文化（002425）行业内竞争力的护城河一般，盈利能力较差，营收成长性一般。财务可能有隐忧，须重点关注的财务指标包括：货币资金/总资产率、应收账款/利润率、应收账款/利润率近3年增幅。该股好公司指标2星，好价格指标2星，综合指标2星。（指标仅供参考，指标范围：0 ~ 5星，最高5星）凯撒文化（002425）主营业务：文化娱乐业务,文化娱乐业务具体包含版权运营、网络游戏研发与运营等业务以上内容由证券之星根据公开信息整理，与本站立场无关。证券之星力求但不保证该信息（包括但不限于文字、视频、音频、数据及图表）全部或者部分内容的的准确性、完整性、有效性、及时性等，如存在问题请联系我们。本文为数据整理，不对您构成任何投资建议，投资有风险，请谨慎决策。

证券之星2023-03-01

推动资产配置深度建设五矿信托资产配置脱口秀总决赛正式开麦

富需求场景多元发展。五矿信托财富管理以深度学习和"脱口秀"实战演练迅速赋能团队建设，进一步强化了"以客户需求为核心"的服务理念。　　资产配置脱口秀总决赛以"穿越配置2000年"为主题，从战国时期到清朝，选手锁定18张"脑洞大开"的客户画像，覆盖性格鲜明、需求各异的历史人物和故事角色，根据"投资人"的财富需求和风险偏好，运用脱口秀表演形式，将"投资人"投资需求与当时的历史背景、投资机会有机融合。　　五矿信托的选手们描摹了一幅幅关于人生资产的"配置蓝图"，证明了资产配置的有效性能够穿越经济周期和市场风格变化，最终获得持续稳定的投资回报。赛事环环相扣，财富顾问挖掘人物画像需求，唇枪舌剑、抛梗出圈，攻守之间尽显团队实力。现场评委爆灯不断，将整个赛事的热力值推向高潮。　　五矿信托财富顾问脱口秀现场　　现场啦啦队气氛火爆　　深化资产配置创设"4K服务" 　　热烈的现场氛围背后是五矿信托回归财富管理本源、加快转型的决心，集结了财富团队数年如一日推行资产配置的坚持，以及对"4K资产配置服务体系"落地的笃行。　　基于对资产配置建设的持续打磨，五矿信托财富管理于2022年正式推出"4K"服务理念。"4K"整合了客户画像算法、深度投研驱动、全光谱货架打造与投后跟踪，最终为客户实现科学、动态的资产配置服务。　　五矿信托财富管理从KYC入手，先为客户构建一个有温度的心理账户，全面了解并精细化客户理财目标，多路径、多维度的洞察客户需求；再通过KYP将产品数据化，密切跟踪能够决定产品核心竞争力和未来潜能表现的重点指标；同时依托KYM完成宏观经济、货币政策、产业趋势、国际政经格局的深度感知，建立完整的投研策略体系；最后反映到客户资产配置组合KYA，为客户定制个性化配置方案，保持动态跟踪，根据市场变化的适配性，及时做出调整。　　五矿信托与会领导、投顾导师、专家评委及选手合影　　赛事收官，配置永不眠。五矿信托财富管理所打造的4K资产配置能力与信托制度优势相得益彰，将充分覆盖高净值客户与中产家庭在各类财富场景下对长期回报与综合信托服务的需求。　　五矿信托财富管理将延续脱口秀嘉年华的服务热情，持续拓宽业务边界，丰富服务内涵，发挥信托公司的制度优势与竞争优势，高效服务实体经济发展和人民美好生活需要，推动信托财富管理走向高质量发展之路。　　五矿信托财富管理　　中国五矿是由中央直接管理的国有重要骨干企业，国有资本投资公司试点企业，已连续16年入围世界500强。作为中国五矿旗下专业从事信托业务的持牌金融机构，五矿信托秉承中国五矿"世界一流的使命担当、自主创新的引领作用、问题导向的工作思维、精益求精的品质坚守、敢于胜利的奋斗精神"的行动指南、价值导向和企业精神，努力打造"服务实业和新经济、资管与财富双轮驱动的专业化、特色化、综合化一流信托公司"。　　五矿信托下设财富管理中心，累计服务超过数万名高净值客户和企业类客户，根据客户的风险偏好和资金配置需求，在家庭服务信托、个人财富管理服务信托、企业财富管理服务信托等方面，凭借4K体系实现了"一站式"全市场资产配置功能，通过优势资源发掘与稀缺权益采选，打造优质的增值服务体系，形成了跨经济周期、适配客户全生命周期与个性化需求的资产配置组合与综合型财富规划服务。　　近年来，五矿信托财富管理加大转型力度，坚持做难而正确的事情，先后荣膺国内外核心媒体和第三方评选机构颁发的多个奖项，实现了财富管理权威荣誉大满贯和重要荣誉数年蝉联，行业影响力持续提升。来源：金色财经

金色财经2023-02-28

皖仪科技2022利润增长20.64% 产品升级稳增长

模块原理预研，进入初样研制阶段；“基于深度学习的自适应超声手术刀的研发及产业化”完成理论分析和预研，刀头、换能器和系统进入初样研制阶段；“一次性使用中空纤维血液透析器建设项目”处于场地建设和设备采购。　　医药生物行业是人民健康发展的基石，医疗器械国产化率低，行业具备极强的技术壁垒，未来国产替代空间巨大。医疗新基建是国家医疗系统建设的大趋势，尤其在新冠疫情冲击下国内医疗短板显现背景下更受重视，后疫情时代，全球加强公共卫生建设，我国医疗新基建正火热。　　未来一段时间之内医疗器械依然是市场关注的焦点。一方面公共卫生事件给市场带来的影响依然比较深远，市场的需求可能会依然持续。另一方面多种利好政策集中医疗器械领域，行业未来发展空间较大，仍处于高速增长的产业生命周期阶段。　　利好政策接踵而来　　2022年9月7日召开的国务院常务会议，当天会议决定对部分领域设备更新改造贷款阶段性财政贴息和加大社会服务业信贷支持，促进消费发挥主拉动作用。本次贴息贷款主要涉及高校、职业院校、医院、中小微企业等九大领域。中央财政贴息2.5个百分点，期限为2年；贷款利息不多于3.2% ，补贴后利息小于等于0.7%。　　2022年9月15日，国家卫健委发布通知，拟使用财政贴息贷款更新改造医疗设备。相关财政贴息贷款原则上对所有公立和非公立医疗机构全面放开，总额预计有2000亿。贷款使用方向包括诊疗、临床检验、重症、康复、科研转化等各类医疗设备购置。国家卫健委原则上对项目申报不予干预，即报即批，由医院与指定银行自行协商贷款方案。　　医疗设备需求释放　　根据中国医疗器械行业协会披露，相关财政贴息贷款原则上对所有公立和非公立医疗机构全面放开，每家医院贷款金额不低于2000万元，主要涉及县医院、县级新冠肺炎定点医院和后备定点医院、基层医疗卫生机构、国家医学中心、国家区域医疗中心、妇幼保健机构等，其中县级医院基数最大，超过1.6万家，有望带来3200亿元增量市场覆盖方向和领域较为全面。涉及医疗设备生产制造的相关上市公司有望在短期内受益。　　未来两年，国内医疗设备采购需求有望快速释放，带动相关标的业绩实现加速增长。本次财政贴息支持医疗设备采购政策是国内医疗新基建的又一重要支撑，对医疗仪器设备生产制造企业是重大利好。

证券之星2023-02-27

AIGC拯救虚拟偶像？

多个开源技术项目得以应用。这些技术通过深度学习，根据人类声音合成AI模型，并转换原有人声，生产出和虚拟偶像声音十分相似的音频作品。技术的进步让虚拟偶像的二创跨出了一大步，不再局限于视觉。近几个月，基于凑·阿库娅、鹿乃、珈乐等虚拟偶像角色进行仿真二创的AI投稿作品陆续出现在国内外的视频网站，这些以AI虚拟偶像名义发布的作品让粉丝们激动不已，甚至有珈乐（虚拟偶像女团A-SOUL成员）的粉丝在珈乐AI的音频投稿下再一次打出了这样一行字：”她只存在了一年半，接下来我要给她完整的一生。“ 以前连粉丝都觉得是在玩梗的言论，如今有希望通过AIGC让其成为现实。 AIGC续命虚拟偶像 2022年5月，虚拟偶像女团A-SOUL成员珈乐的中之人33和公司解约，使得珈乐进入休眠，此后A-SOUL一直以四人团的形式运营，这让不少珈乐的唯粉倍感失落。后来，33以真人身份重新开播，熟悉的声线让不少人从珈乐粉转为了3粉。但也有珈乐的粉丝觉得自己还是喜欢那个紫头发大眼睛狼耳朵，有着偶像化运营的虚拟形象，并不是形象的扮演者。一时间，围绕着中之人和虚拟形象之间的争议不断展开，随着33的直播越来越有个人特色，珈乐粉纷纷切割，重新回看起过去珈乐的作品和直播切片。 AI珈乐演唱A-SOUL二创名曲《枝江》，UP主：存梦P 但总看历史作品对于粉丝而言太不过瘾，于是有一批基于UTAU引擎的珈乐二创音乐作品横空出世，虽然也能成为一部分珈乐粉丝的”代餐“，但老旧的UTAU引擎生成的人声电音过重，存在不够真实的缺点，让不少粉丝无法接受。粉丝是想让心爱的虚拟偶像变得更加真实，距离更近，但和中之人相比，UTAU并不能给到大多数粉丝替代感。在2022年底，Diff-SVC、so-vits-svc等项目陆续在开源社区发布，给粉丝还原珈乐的声音提供了更好的选择。已经超过2300位技术宅收藏这一AIGC项目和UTAU需要大量原音生成声音数据库，再利用MIDI谱面重新生成对应歌曲的过程相比，基于深度学习的Diff-SVC（简称ds）、so-vits-svc（简称svs）明显要先进得多：一方面ds、svs的准备成本比较低，用户只需要准备数十分钟的角色语音、歌声文件交给svs进行深度学习，就能生成对应角色的AI声音模型，同时免去了音频调校的工序，极大地降低了创作者的门槛；另一方面ds、svs的合成效果更好，因为音频基于SVC技术，能让一些歌手原本的唱法得以保留并直接转换，生成的音频更贴合收听者。因此，这类AIGC技术不仅让声音二创变得更加真实，还大大降低了声音类二创的难度指数。想为珈乐等虚拟偶像创作声音内容的创作者，如今只需要一个成熟的训练模型，一首唱好的歌，加上一张好显卡，就能得到由喜欢的虚拟偶像演唱的翻唱音乐。整合包的出现让AI翻唱的制作更简单了，UP主：夜歩空初音未来、洛天依等V家粉丝最近也吃到了AIGC带来的内容红利，由于VOCALOID热度降温等原因，V家相关的非音乐内容创作开始变少，知名插画师近年很少再为爱发电地为这些”过气萌二网红“创作作品，这让不少MikuFans、锦依卫只能眼馋其它虚拟偶像的二创。但AI作画工具的兴起，让技术宅可以自己动手丰衣足食，一边靠AI创作，一边看着自己的作品流下老二次元的眼泪。在2022年之前，通过主流的AI作画工具生成一张二次元风格的图片还需要大量的参数，且生成的AI作品质量极为不稳定，需要碰运气才能生成一张能看的图片。但在2022年10月，基于Stable diffusion模型的NovelAI发布，改变了这一切，这个擅长生成二次元风格插画的AI作画工具让偏爱二次元风格的AI画师们狂喜，NovelAI不仅提供了传统的文字转图片的方式，还有着基于已有图片反推文字，并生成风格化图片的功能，这让AI创作二次元插画的难度再次降低。 Stable Diffusion+NovelAI生成的AI珈乐插画，UP主：ppupsie 今年，随着NovelAI在个人电脑上的适配逐渐成熟，不少风格化训练模型被共享，AI算力云平台陆续上线，希望为虚拟偶像创作插画等内容的粉丝进入这一领域的门槛越来越低，AI插画作品陆续发布，不少初音未来、洛天依等V家角色的高质量AI插画、AI Cosplay甚至是AI手办模型作品陆续出现在大众视野，引发了新的议论热潮。官方不应缺席AIGC 和民间AI创作工具使用门槛越来越低，用户操作越来越简单相比，官方在新技术工具跟进方面就显得有些掉队了。例如已经休眠一年的虚拟主播绊爱（点击回顾：第一虚拟主播「绊爱」的消失），曾在去年推出了基于CeVIO AI的声库#kzn，主张用户通过创作音乐作品的形式为绊爱IP继续做贡献。但是CeVIO AI是一款类似于VOCALOID的音频制作工具，需要创作者有一定的音乐创作基础。其中的AI功能主要为自然平滑地生成人声服务，并没有降低创作者的使用门槛。此外，#kzn的声线虽然取自绊爱，但由于CeVIO AI引擎本身的风格，仍保留有一些电子音，相关作品的听感远不如绊爱本体的翻唱。一直在限时发售的#kzn 声库在国内虚拟偶像行业，只有洛天依、星尘等少量虚拟歌姬推出了利用AI辅助创作的产品，其中洛天依等Vsinger和ACE Studio、XStudio分别合作推出了AI声库，可以让发声更加平滑顺畅；星尘则脱离了原本的VOCALOID引擎，转为通过自家的AI发声引擎Synthesizer V提升了原有的发声质量。对于原本的P主（音乐创作者）来说，新工具的易用性有所提升，但对想成为P主的新人而言，相关工具的上手难度仍然偏高。而虚拟主播由于普遍生存周期较短，依赖中之人以直播整活变现，鲜有可供粉丝使用的AI创作工具。靠谱二次元（公众号ID：kpACGN）总结了当下大部分虚拟偶像都没有合适的AIGC工具原因主要有两点，一是AIGC发展速度超过预期，一些公司对AIGC领域还在观察、预研和立项，不能立即推出相关产品；二是虚拟偶像公司大多出身于文娱领域，面对更偏技术向的AIGC，纵使心有意，但追逐的难度也非常高。《AI绘图，但是洛天依》，UP主：是瞳辉啊从现在各个虚拟偶像二创领域的成果来看，基于已有高人气的虚拟偶像，推出定制化的AIGC工具，对于IP拥有方来说，是一件有利可图的事。首先，定制化的AIGC工具能方便创作者更准确地制作相应的AIGC产品，提升作品的综合质量；其次，定制工具可以更方便地了解创作者的创作需求，随时进行技术调整；最重要的是，经过定制的工具能有效防止AIGC常见的侵权、越权创作情况发生，规范基于自身IP的AIGC创作边界。如果有一款好用的定制化AIGC工具面世，或许能迎来十多年前V家刚刚面世时的创作潮。回顾过去，高人气的虚拟偶像都离不开粉丝们的二创，AIGC工具能更方便地将粉丝的热情转化为高质量的二创内容，吸引潜在粉丝的关注和加入。 AIGC能否独挑虚拟偶像大梁？在虚拟偶像行业，AIGC的故事听起来非常诱人，甚至能够完成不少”去中之人化“的工作，让虚拟偶像面向虚拟更进一步，但AIGC实际上只能带动虚拟偶像产业一小部分。据了解，游戏公司米哈游旗下的虚拟偶像鹿鸣举办过两场直播活动，最近一次是2023年的1月。两场直播的人物发声已经通过旗下的逆熵AI解决，但鹿鸣的动作依旧依赖真人动捕，直播过程中也能发现存在运营人员引导干预的行为。而其他虚拟偶像的直播活动仍以中之人配音为主，这在一定程度上说明，寄希望于目前的AIGC技术完整地跑通虚拟偶像运作的流程，还有些为时过早。更重要的是，对于当下火热的虚拟偶像而言，粉丝追求的并不是单一的美术、声音，而是一位有温度的虚拟偶像，这其中不仅包含着制作人、中之人的角色塑造，还包括一整套偶像化的运营策略。让虚拟人更像一个亲和的人类，才是虚拟偶像获得人气的基本，”皮魂一体“才是虚拟偶像的制胜关键。而这对于当下的AIGC而言，还显得有些难。但对于濒临消失，离粉丝越来越远的过气虚拟偶像而言，AIGC确实可以拉她们一把，但目前AIGC能做到的，只是让这些看起来无人问津的精致虚拟小人，相对鲜活地存在既有粉丝的记忆里，完成粉丝的执念罢了。来源：金色财经

金色财经2023-02-27

ChatGPT嗨翻天，AIETF(512930)狂飙到何时？

能的“燃料”，全球数据量指数级增长。深度学习算法是推动人工智能技术突破性发展的关键技术理论，大量训练数据的训练支撑是深度学习算法的基础。训练数据越多、越完整、质量越高，模型推断的结论越可靠。随着ChatGPT对人工智能的催化，数据量将会指数级增长。根据中国信通院数据，到2035年，全球数据量将达2142ZB，是2020年数据量的45-46倍。图2：全球数据量（ZB）资料来源：中国信息通信研究院，Statista，天风证券研究所（2）算力是人工智能的“底座”，我国算力规模增长迅速。人工智能模型的训练依赖大量算力支持，海量算力是大规模训练及生产人工智能模型的前提。数据海量增加，算法模型愈加复杂，应用场景的深入和发展，带来了对算力需求的快速提升。根据《2022-2023中国人工智能计算力发展评估报告》，2021-2026年我国智能算力规模增长迅速，年复合增长率达52.3%，而同期通用算力规模年复合增长率为18.5%。（3）算法是人工智能“发动机”，算法迎来持续爆发。 2006年深度学习算法的提出使AI进入新发展阶段。近年AI应用的繁荣来源于AI算法持续突破创新，而且是在大数据、大算力的支持下发挥出较大的威力。2017年谷歌提出Transformer算法，奠定ChatGPT所有技术的基础。如今，ChatGPT开启强人工智能时代，算法相关领域有望迎来持续爆发。数据、算力、算法三要素和人工智能发展相辅相成，未来市场潜力巨大， 2020年全球人工智能技术支出为687亿美元，预计2025年达到2212亿美元，年复合增速达到26.3%，而我国AI市场规模年复合增速将达到41.5%，预计增速有望全球第一。三、行业龙头纷纷布局，AI行业活力四射？近期，国际大型科技公司相继发布AI产品和未来计划，互掰手腕。微软自2019年与OpenAI展开合作，并表示未来所有产品将全线整合ChatGPT,目前已推出引入ChatGPT技术的搜索引擎NewBing。2023年2月谷歌推出对标ChatGPT的对话机器人Bard。Bard基于谷歌LaMDA模型，参数量最高达1370亿，LaMDA已经在多个维度接近人类水平。谷歌表示未来会将AI技术率先应用于搜索领域，或将与微软展开正面竞争。国内行业龙头积极布局，产业落地加速。（1）科大讯飞：公司在AI领域积累深厚，ChatGPT有望带来新的成长机遇。公司于2022年12月份进一步启动生成式预训练大模型任务攻关，科大讯飞AI学习机、讯飞听见等产品将成为该项技术率先落地的产品，将于2023年5月6日进行产品级发布。公司在AI领域积累深厚，ChatGPT有望带来新的成长机遇随着ChatGPT的火热，认知智能迎来大规模应用的历史机遇期。公司在AI领域深耕多年，在深度学习算法、大模型技术、行业大数据、知识图谱、多模态感知、系统工程技术方面积累深厚，有望为公司带来新的成长机遇。（2）三六零：公司已将ChatGPT作为核心战略。三六零创始人周鸿祎在“星空下的对话”节目中公开表示：ChatGPT可能代表着“人工智能历史上一场真正革命的开始”，同时公司长期做搜索引擎，拥有大量算力、NLP处理模型等要素，还拥有财力支撑，将大力推进ChatGPT技术。具体来看，截至2022年三季报公司拥有货币资金219亿元，能够保证公司在ChatGPT大量算力、研发等开支；同时公司相较于国外同行落后的主要是预训练大模型和有效的多模态数据清洗与融合技术，在继续深入自行研发的同时，不排除寻找强有力的合作伙伴，以开放的心态搭建多方共享平台、补足短板，快速缩小差距。（3）浪潮信息：公司AI服务器竞争力强，积极布局人工智能产业。浪潮信息产品在市场上具有较高的竞争力，根据Gartner、IDC、Synergy2022年发布的最新数据，公司服务器、存储产品在2022年Q1全球市占率10.4%位居第二，在中国市占率36.4%保持第一。近日，公司在AIGC层面已从算力，算法，和应用三个方面进行布局。在人工智能浪潮的推动下，公司作为AI基础设施有望迎来更大发展。我国具有丰富应用场景和数据积累，随着政策环境持续优化，科技巨头的纷纷投入，有望带动人工智能相关产业链加速发展，我们应积极关注相关产业链的投资机会。四、人工智能投资，你“AI”了吗？以ChatGPT为代表的人工智能技术给人类带来了便利，但也引起了诸多担忧。多国高校禁用ChatGPT、大型企业限制其使用范围、马斯克公开批评它.....人工智能领域在经历了几个月的狂飙之后，如今已经放缓脚步，相关个股走势分歧严重，涨停潮和跌停板此起彼伏，它正义无反顾的接受投资者的“审判”。震荡的市场给我们创造了更多的投资机遇，在宏观以及微观均具备良好做多的当下，可关注ChatGPT、云计算、人工智能等热点概念板块的低吸机会，加大仓位配置。平安中证人工智能ETF【场内简称AI ETF（512930）】，一键投资人工智能，该基金紧密跟踪中证人工智能主题指数，投资覆盖大数据、云计算、云存储、机器学习、机器视觉、人脸识别、语音语义识别、智能芯片等人工智能领域；持仓股包括科大讯飞、三六零、浪潮信息、韦尔股份等热门股，市值权重分布上相对均衡，在小市值风格较强的当下具有行业主题+风格属性双击的优势。 AI ETF（512930）管理费率为0.15%，托管费率为0.05%，远低于市场同类型权益ETF费率，有助于投资者节约投资成本，提高投资效率。同时具备透明度高、申赎更加灵活、交易费率更低、流动性更强等特征，可以作为投资者投资标的指数的有效工具。（来源:界面AI）声明：本条内容由界面AI生成并授权使用，内容仅供参考，不构成投资建议。AI技术战略支持为有连云。

有连云2023-02-27

科大讯飞：本次ChatGPT浪潮让我们看到中国和美国在人工智能领域的综合差距

证券之星2023-02-26

ChatGPT：OpenAI的技术「执拗」与「豪赌」

子，同学们就能够掌握这项能力。但对于深度学习模型来说，它通常需要学习（训练）成千上万的例子才能掌握一项新的能力，但大家发现 GPT-3 却像人类一样具有类似的能力。而且重点在于，只需要给它展示几个例子，它就会「有样学样」地完成例子给出的任务，而不需要进行额外的训练（即不需要进行常规训练中的梯度反传和参数更新）。后来的研究表明，这种能力是巨型模型所特有的，被业内叫做「在上下文中学习」（in context learning）的能力。 GPT-3 论文中所展示的英语翻译法语的 In context learning 能力。实际上，小样本学习能力本身并不是很惊人的发现。毕竟业内一直都在对小样本学习进行研究，很多专攻小样本学习的模型都有出色的小样本学习能力。但 GPT-3 展示出来的这种「在上下文中学习」的小样本能力却非常出人意料，其原因也和 GPT-2 所展示的多任务能力一样： GPT-3 并没有为了获得小样本的能力而在训练数据、训练方式上做特别的设计，它依然只是一个用语言模型任务训练的生成式模型； GPT-3 的小样本能力是以「在上下文中学习」的方式展现出来的。换句话说，想让它获得新的能力，不需要对它再训练，而只需要给它看几个示范的例子。除了这个能力以外，GPT-3 还展示出了优秀的文本生成能力，相比 GPT-2，它生成的内容更加流畅，而且可以生成很长的内容。这些能力综合体现在一个模型上，让 GPT-3 在当时成为了大家的关注焦点，它也成为 OpenAI 正式对外提供服务的模型。但随着这个模型服务的开放，越来越多的人尝试使用这个模型。从这时起，OpenAI 通过开放给公众的方式，同时也在收集着更具有多样性的数据（用户使用时输入的内容可能会被用于模型的训练，这一点是写在用户条款中的），这些数据在后来的模型迭代中也发挥着重要的作用。自此 GPT 系列模型的数据飞轮便转动了起来，越多优质的用户数据，迭代出效果越好的模型。与 ChatGPT 不同的是，GTP-3 并不是采用对话的形式交互的模型，而是一个文本的续写模型（也就是在你输入的文字后面接着往下写），因此它并不具备如今的 ChatGPT 所拥有的多轮对话能力。但它已经能够干很多的事情，例如编写故事、给邮件做自动补全等等。但同时，大家也慢慢发现了一些问题，例如它会一本正经地输出不符合事实的内容，并且会输出一些有害的言论等等。这是这种文本生成模型最突出的弊端，虽然经过多次迭代，但 ChatGPT 如今也依然面临类似的问题。 CodeX，让计算机自己写代码 OpenAI 在对 GPT-3 的研究中还有一个意外的发现，它能够根据一些注释生成很简单的代码。因此在随后的 2021 年，他们对生成代码这件事情进行了专门的研究投入，并发布了 CodeX 模型。它可以看作是一个有着代码专精能力的 GPT 模型，能够根据自然语言输入生成比较复杂的代码。从外部视角来看，我们无法判断代码生成的研究与 GPT 系列模型的研发是否在同时进行。但放在当时，让模型具有生成代码的能力，从实用化的角度来说确实更加具有意义，毕竟 GPT-3 还未拥有如今 ChatGPT 这般强悍的能力。另一方面，让模型去生成代码也能规避它生成有危害文本内容带来的风险。在 CodeX 论文中提及了几个要点，首先是让经过文本数据预训练的 GPT 模型在专门的代码数据（数据来自 github 的开源代码，一共 159G）上训练确实能够明显提升模型对代码的理解和输出能力。其次是论文中用的是一个 120 亿参数的「小」模型，这个信息从侧面反映出 OpenAI 内部除了对外开放接口的 1750 亿参数的 GPT-3 模型外，还有别的不同大小的模型版本。而加入代码训练，让模型获得理解和生成代码的决定，原本的初衷也许只是希望 GPT 能够多一种应用场景。它看似与 GPT 系列模型在理解和运用自然语言的能力没有太大的联系，但根据后续的研究（详细的分析请参考文章《拆解追溯 GPT-3.5 各项能力的起源》），增加对代码数据的训练很有可能触发了后来的 GPT 模型在自然语言上的复杂推理和思维链的能力。也许在 OpenAI 做 CodeX 之初并没有预料到会有这样的结果，但就像他们一直使用文本生成任务来做 GPT 模型，然后在 GPT-2 和 GPT-3 中「解锁」了「多任务的能力」和「在上下文中学习的能力」那样，代码数据的引入又一次让他们获得了意料之外的收获。虽然看上去似乎有一些偶然，但对技术路线的前瞻性认知，加上坚持与持续的投入显然是一个至关重要的因素。 InstructGPT，让 GPT 好好说话在前面我们提到了 GPT-3 虽然已经有很强的能力，但上线以后随着使用的人越来越多，也发现了很多问题，最严重的应该要数「一本正经地胡说八道」和「输出带有危害性的内容」这两点了。虽然在 2021 年 OpenAI 似乎暂时将重点放在了让模型理解和生成代码这件事情上，但他们应该一直在尝试解决 GPT-3 的这些问题。在 2022 年初，OpenAI 发表了 InstructGPT 的论文（Training language models to follow instructions with human feedback），从中我们可以一窥解决这些问题的方法。论文的核心理念是让模型接受人类的教导（反馈），这一点在标题中就已经开宗明义了。 GPT-3 之所以会出现「一本正经地胡说八道」和「输出有害的内容」这样的问题，其根源来自于它所使用的训练数据。像 GPT-3 这样的庞然大物，对数据的需求量是海量的。我们从 GPT-3 的论文中可以找到它的数据来源，大致可以划分为三类：网页内容、百科内容以及书籍。虽然网页内容的量非常大，但也非常「脏、乱、差」，自然会包含很多非真实性和有害的内容。GPT-3 在这些数据上进行训练，自然也就学到了这些东西。但作为一款对外提供服务的产品，GPT-3 的回答应该更小心一些。要解决这个问题，其中的一难点在于怎么去定义模型应该怎么说话。因为生成模型的输出内容是自然语言本身，而不是一个分类的标签或一个实体名词这种有明确的、客观对错的内容。没有明确的对错，就导致无法像训练经典的 NLP 模型那样直接针对目标设计训练任务。而 InstructGPT 给出的解决思路是非常直接的，既然对于「好的回答」这个评价指标有很多不同的影响因素，这些因素又相互交织在一起，那就让人来教它怎么写回答。因为人类是比较善于处理这种「既有明确的要求，又有模糊的范围」的问题的，让真人写一些「优秀范例」，让模型去学习这些「优秀范例」，这正是 InstructGPT 提出的总体思路。具体而言，InstructGPT 提出了两个阶段的路径来让 GPT 学习人类给出的「优秀范例」，第一阶段是监督学习，第二阶段是强化学习。在第一阶段中（对应下图中最左边的 Step 1），让真人根据不同的 Prompt（粗浅可以认为是我们使用 ChatGPT 时，在对话框里输入的那条文本，在业界这个东西叫做指令）写真实的、无害的、有用的回答。实际操作过程中，为了保证这些内容的质量，会给写回答的标注人员一些规范性的指引，然后让已经经过预训练的 GPT 模型在这些人类编辑的数据上继续训练。这一阶段可以看作是对模型的一种「规训」，用一个不严谨的类比来说，就像语文老师让你默写优秀范文那样。图片来自 InstructGPT 论文，提出通过监督式的指令微调 + 人类反馈的强化学习来让模型的输出变得合理。第二阶段是强化学习，技术上分为两步。第一步（对应上图中间的 Step 2）是让被「规训」后的模型根据不同的 Prompt 生成多个不同的回答，并由人来给这些回答按照好与差的标准来排序。然后用这些标注了优劣之分的数据训练一个打分模型，让它可以自动给更多的数据进行排序打分。强化学习阶段的第二步（对应上图中右边的 Step 3）就是利用这个打分模型作为强化学习中的环境反馈，以策略梯度（Policy Gradient，准确地说是 PPO 算法）的方式对已经「规训」后的 GPT 模型进行训练。整个第二阶段的过程可以看作是对模型的一种「强化」，再用一个不严谨的类比来说，就像语文老师给你写的作文打分，让你从分数中分辨什么是好与不好，然后不断进步。因此，用一种非常不严谨，但普通人或许也能够理解的方式来说，InstructGPT 先是让一个「口无遮拦」的 GPT 通过「默写人类的优秀范文」的方式初步学会「好好说话」，然后再「给它独自写出来的东西打个分，让它回去好好领悟，继续进步」。当然，在技术上牵涉事情会更复杂一些，比如「优秀范文」的具体规范和数量等数据上的问题，以及强化学习中打分模型的选择，算法参数的设置等算法上的问题，都会对最后的效果产生影响。但最终的结果表明，这种方式是非常有效的，论文中也指出一个通过上述方式训练出来的 13 亿的小模型，效果就能够超过没有经过这种训练的更大的模型。另外论文中还有一些非常值得一提的内容。首先是关于 Prompt 的一些发现。InstructGPT 训练时所使用的 Prompt 主要由两部分构成，一部分是专门的 AI 训练师编写的，另一部分自来 OpenAI 的模型在线服务期间，由用户使用中编写的内容，这时数据飞轮的作用就体现了。可以发现，无论是哪种，这些 Prompt 都是由真人写出来的，虽然文章中没有对这些 Prompt 的具体涵盖范围、分布情况以及提问的方式展开详细的分析，但可以合理地猜测这些 Prompt 具有一定的多样性和较高的质量。其实文章中对比了使用这些真人编写的 Prompt 训练的模型和使用一些开源 NLP 任务数据集中构建的 Prompt（例如 T0 数据集、FLAN 数据集）训练出来的模型，结论是由真人编写 Prompt 训练出来的模型，给出的答案更加能被评测的人接受。另外一点是关于训练好的模型对新的 Prompt 的泛化能力的问题，可想而知的是，如果训练完成的模型无法产生 Prompt 的泛化能力，那么现在 ChatGPT 所表现出来的，几乎百问百答的能力是不太可能产生的。因为在模型做微调的阶段，即便是再多的数据，也不可能把人们有可能会输入的内容都覆盖完整。而 InstrctGPT 论文中点明了文中所采用的方法是可以产生 Prompt 的泛化能力的。之所以花了更多的文字对 InstructGPT 做介绍，因为根据 ChatGPT 官方页面的介绍，InstructGPT 中的方法正是用来训练 ChatGPT 的方法，不同的只是 ChatGPT 使用了对话式的数据组织方式。 GPT-3.5 时代和 ChatGPT 的诞生在随后的时间内，OpenAI 发布了多个被称为 GPT-3.5 系列的模型，虽然这些模型并未有相关的论文跟随发表，但根据这篇文章的分析，GPT-3.5 系列应该是融合了 OpenAI 在 GPT-3 时代积累的技术、数据以及经验开发出来的。由于没有详细的官方公开信息参考，关于这些模型的具体资料，外界主要是通过分析使用的体验、相关的技术论文以及 OpenAI 的 API 文档介绍来进行推测。根据分析，GPT-3.5 系列的模型有可能并不是在 GPT-3 上继续微调而来，而很可能是将代码和自然语言的数据融合在一起，重新从零开始训练了一个基础模型。这个模型可能比 GPT-3 的 1750 亿参数量更大，它在 OpenAI 的 API 中被命名为 codex-davinci-002。然后在这个基础模型上，通过指令微调和人类反馈得到了一系列后续的模型，包括 ChatGPT。 GPT 系列模型的发展路径。简要地说，从 code-davince-002 这个模型开始，经过有监督的指令微调得到 text-davinci-002。以及后续的 text-davinci-003 和 ChatGPT，也是在 GPT-3.5 系列的某个模型上通过指令微调以及人类强化学习反馈得到的。并且 text-davinci-003 和 ChatGPT 都是在 2022 年 11 月发布的，不同的是 text-davinci-003 和 GPT-3 一样，是一个文本补全模型。而根据 ChatGPT 的官方介绍，它是通过将过往的数据处理成对话交互的形式，并增加了新的对话数据训练出来的。至此，我们大致回顾了 OpenAI GPT 系列模型从 2018 年的初代 GPT 到现在的 ChatGPT，一路发展迭代的过程。在这个过程中，OpenAI 一直保持着对生成式预训练模型这一技术路径的「执拗」，并且也一直从不断发展的 NLP 技术中吸纳新的方法，从最初的 Transformer 模型结构，到后来的指令微调（Prompt tuning）等技术的出现，这些因素共同促成了如今 ChatGPT 的成功。有了对 GPT 系列模型发展的了解，我们可以再回过头来看看如今的 ChatGPT。 3、走近再看 ChatGPT 在第一章节中我们阐述了 ChatGPT 出圈的原因主要是：「它以流畅、符合逻辑的自然语言来反馈人类对它输入的自然语言」，从而给与它交流的人带来了很强的「智能感」。在第二章节中通过回顾 GPT 系列模型的发展历史来了解 ChatGPT 成功之路。而这一章节会尝试以尽可能让圈外人都能理解的方式，稍微深入一些技术的内容，并且探讨一下当前的一些大型文本生成式模型为什么未能做到相同的效果。这一部份的主要参考来自于《深入理解语言模型的突现能力》和《拆解追溯 GPT-3.5 各项能力的起源》这两篇文章以及相关的一些论文，建议希望详细了解细节的读者阅读原文。虽然在第一章中指出，ChatGPT 所带来的惊艳效果是由许多不同的 NLP 任务综合体现出来的，但在分析它背后的技术时，还是通过将它的能力进行拆解会更加清晰明了一些。总体而言，ChatGPT 所体现出来的能力可以大致划分为以下几个维度： - 文本生成的能力：ChatGPT 的所有输出都是即使生成出来的文本，所以文本生成的能力是它最基本的要求。这一项能力实际上是来自于它的训练方式，ChatGPT 在预训练时，是一个标准的自回归语言模型任务，这是 OpenAI 所有 GPT 系列模型的基底。所谓的自回归语言模型任务，通俗的理解是这样的：它可以根据已经输入的文本，预测下一个 token 应该是什么。这里所说的 token，所代表的是模型所使用的最小单位的字符片段，它可以是字（在中文里采用字是很常见的），也可以是词（英文的每个词天然地被空格隔开了，所以常采用词），甚至是字母。但现在的方法通常采用的是子词（subword，介于字母和词之间，主要的目的是减少词表数量）。但不论是哪种，自回归语言模型任务的基本思路都是根据已经输入的文本，预测下一个要输出的文本是什么，就像下图的例子中那样：这个例子中，BOS 代表了输入的开头，而每个 token 是一个词，GPT 模型根据输入的「今天」和「天气」两个词，预测下一个要输出的是「不错」。在训练的时候，会准备很多文本数据，比如网页上的文章、各类书籍等等，只要是正常的文字内容，都可以用来训练。值得说明的是，这种数据不需要进行额外的人工标注，因为这类数据本来就是人写的，模型要做的事情就是根据这些人写出的文本，去学习「给定了前面的文字，接着这些文字后面这个地方应该是什么」的问题。这便是业内所称的「无监督训练」，实际上模型并不是真的没有监督（不然模型学什么呢？），只是它的数据不需要额外的人工标注。也正因为这个任务是不需要额外标注的，因此可以「免费」获得大量的数据，得益于互联网的普及，可以「轻松地」获得海量的由真人写出的文本内容用来训练。这一点也是 GPT 系列模型的特点之一，用海量的数据，去训练很大的模型。那么在我们使用 ChatGPT 的时候，它是怎么工作的呢？其实也和它的训练方式一样，模型会根据我们在对话框里输入的内容，去预测接在这些内容的下一个 token 是什么，得到这个 token 后，会将它与前面的内容拼接成一个新的文本给模型，模型再预测下一个 token，如此反复，直到满足某个条件后停止。这个停止的条件有很多不同的设计方式，比如可以是输出的文本达到特定的长度，又或者是模型预测出某个用来代表停止的特殊 token。另外值得一提的是，模型预测下一个 token 时，其实背地里是一个采样的过程。换句话说，模型在预测 token 时，输出的其实是所有可能出现的 token 的概率，然后从这个概率分布里采样一个 token。因此，在使用 ChatGPT 时，会发现即便对于相同的输入，它的输出每次也会不一样，因为在背地里它采样了不一样的 token 作为输出。了解这些之后，可以再回过头来思考一下模型在学什么。它在学习怎么回答问答吗？又或者说它在学习怎么理解自然语言所蕴含的信息、逻辑、情感？还是说它在学习海量的知识？从训练任务的设计来看，似乎都没有，它只是从海量的文本数据里，学习了「根据输入的这些文本，一个人类在后面会接着写什么」这件事。但正是这样的模型，在「进化」到 ChatGPT 时，它却掌握了丰富的知识、复杂的逻辑推理等等，它似乎掌握了一个人类运用语言所需要的几乎所有的能力。这是一件非常神奇的事情，它的「进化」历程将会在下一章节中做更加深入的介绍。 - 丰富的知识储备：ChatGPT 能够正确回答非常多的问题，包括历史、文学、数学、物理、编程等等。因为目前版本的 ChatGPT 并没有利用外部知识，因此这些知识的内容是「储存」在模型内部的。 ChatGPT 所拥有的丰富知识储备，来自于它的训练数据，以及它足够大的体量，以便学会这些内容。虽然官方并没有公开 ChatGPT 所使用的训练数据的具体细节，但从它的前身 GPT-3 的论文可以推测，这些数据大致可以分为三个大的范畴：网页内容、书籍内容以及百科内容。可想而知的是，这些内容天然地蕴含了大量的知识，百科和书籍自然不必说，而网页内容也包含了许多新闻、评论、观点等，并且网页也包括了很多专门的问答垂直类网站，这些都是 ChatGPT 的知识来源。在官方的介绍里指出 ChatGPT 无法回答 2021 年以后发生的事情，因此合理的猜测是训练的数据收集截止到 2021 年。但数据量只是其中一个方面，要让模型「掌握」这些数据，其自身的体量是不可能小的。以 GPT-3 为例，它有 1750 亿参数，可以粗浅地理解为，这些数据的内容以及模型的各项能力，都以这一个个参数的具体数值的形式，固定在了训练完成的模型中。感性的理解是，假设一个模型只有 1 个参数，那它什么也干不了。更严谨的分析和对比可以参考这篇论文《Holistic Evaluation of Language Models》的测评，方向性的结论是越大的模型，在需要知识来完成的任务上表现得越好。论文地址：https://arxiv.org/pdf/2211.09110.pdf - 逻辑推理与思维链的能力：从第一章图片中的鸡兔同笼的例子可以看出，ChatGPT 具有很强的逻辑推理能力。并且它能够将复杂的内容，通过拆解，分成多个小的步骤，一步步地进行推理，获得最后的答案，这种能力被称为思维链。从前面的介绍我们知道，模型在训练的时候并没有针对逻辑推理以及思维链做特定的设计。而当前的主流观点认为，逻辑推理和思维链很可能和两个因素相关，第一个是模型的体量，第二个是模型是否在代码数据上进行过训练。关于模型体量与推理、思维链能力的关系，在《深入理解语言模型的突现能力》中有对应的介绍。下面这张图展示了思维链能力与模型体量的关系。不同模型不同尺寸的思维链效果对比，图来自论文。GSM8K，SVAMP 和 MAWPS 是三个需要逻辑推理的数学应用题数据集，LaMDA，GPT 和 PaLM 分别是 3 个不同的模型。简要地说，图表中给出了三个不同的模型，在三个数学应用题数据集上的答对率。而值得关注的是以下几个方面：思维链的能力（蓝色实线）在模型体量够大的时候产生了效果上的突变；思维链的能力在模型够大的前提下，效果超过了标准的指令（Standard prompting，黑色实线）方法；思维链的能力在模型够大的情况下，可以接近甚至超过有监督的方法（橙色虚线）。用通俗的话来说，就是在模型足够大的时候，思维链的能力突然展现了出来，能够达到、甚至超过那些在推理数据集上专门进行有监督训练的模型。这个图也许部分解释了现在我们看到的 ChatGPT 所具有的优异推理和思维链能力。而另一个关于推理以及思维链能力的产生因素，与模型是否在代码数据上做过训练有关。目前这一点只是一个推论，《拆解追溯 GPT-3.5 各项能力的起源》中的分析表明体量类似的大型模型，没有在代码上做过训练的话，只有很弱或几乎没有思维链和推理能力。而 ChatGPT 确实是在代码数据上进行过训练的，这一点从它能够理解并生成代码也可以看出来。在第二章回顾发展历程中提到了，OpenAI 在 2021 年就发布了专门针对代码的 CodeX 模型，将代码数据加入 GPT 的训练数据应该就是从那时开始的。 - 按照人的提问或者指令给予回复的能力：ChatGPT 除了可以用狭义的基于「问答」形式的交互以外，还能够按照输入的要求进行回复。例如，在应对「帮我写一封信」这类指令式的要求时，它同样也展现出了优秀的能力。这种能力让它不仅是一个提供答案的「高级搜索引擎」，更是一种可以用自然语言来交互的文字处理工具。虽然目前大众普遍把目光聚焦在将 ChatGPT 作为一种类搜索引擎的工具，但查阅相关知识并给予回答并不是它的唯一能力。实际上，单就 ChatGPT 本身而言，回答知识性的问题并不是它的强项，毕竟它本身的训练数据被定格在了 2021 年。即便用更新的数据去训练，但它终究跟不上时事的变化，因此要将它用作知识性的问答工具，还是需要与搜索引擎等外部知识源做结合，就像现在 Bing 做的一样。但换一个角度来看，ChatGPT 像是一个「语言完备」的文本工具，也就是它能够按照你给它的要求，完成指定的、可以用文本形式表达出来的内容，就像下面这个例子。按照给定的计划内容生成英文邮件进行汇报。这里所说的「语言完备」，指的是运用语言的能力。可以看出上面这个例子里，其实不涉及知识性的内容，因为需要它写的内容已经提供给它了。但要写出这封邮件，涉及到的是运用语言的能力，比如遣词造句、语种切换、邮件格式等等。现在我们回过头来，尝试分析它的这种「按照指令完成任务」的能力是怎么获得的。在学界中，这种指令被称为 prompt，实际上对话中的用户输入、问答中的问题也是一种 prompt，因此可以粗浅地理解为，在聊天框里输入的所有内容都是 prompt。如果了解我们在本章第一节介绍语言模型的内容，那么更严谨一些的说法应该是「输入给模型的上文」都是 prompt。 ChatGPT 根据输入的指令（prompt）进行回复的能力，是来自于一种被称为指令微调的模型训练方式（prompt tuning）。其实原理很简单，模型依然还是「根据输入的内容，预测下一个 token 是什么」，只是在指令微调的阶段，输入的内容被换成了这些事先写好的 prompt，而 prompt 后面需要生成的内容，则是事先写好的答案。因此在这一阶段和一开始所说的无监督自回归语言模型训练，最大的不同在于数据。这里的数据，也就是 prompt 以及对应的回复，都是人写的，换句话说，这一阶段用的是人工标注的数据进行的监督训练。提到人工标注的数据，就自然牵涉到了所需要的数据量了，因为每一条标注数据都是需要成本的。如果是不需要标注（就像第一阶段的训练），那么自然有海量的文本数据可供训练，但如果要标注，那到底需要多少这种数据呢？要知道，让标注人员手写一个 prompt，然后再手写一个几百字的、真实详尽的回答，成本是很高的。根据论文《Training language models to follow instructions with human feedback》的介绍，所需要的数据其实不需要太多（相比于无监督阶段所使用的数据来说）。虽然具体到 ChatGPT 到底使用了多少没有确切的信息公开，但可以确定的是在数量级上一定远比用来进行无监督训练的网页、百科和书籍所构成的数据集要小非常多。论文地址：https://arxiv.org/pdf/2203.02155.pdf 只需要相对少量的人工标注的 prompt 数据就能达到让模型按照指令做出回复的目的，这一点背后其实隐含了一个现象，在学界内被称为 prompt 的泛化能力。可以想象一下，如今全世界都在不停的向 ChatGPT 提问，所提的问题也必定是千奇百怪的，这些问题其实就是一个个的 prompt。但用来对 ChatGPT 进行指令微调的 prompt 肯定不会有这么多，这说明模型在学习到了一定量的 prompt 和相应的答案以后，它能够「举一反三」地对它没有见过的 prompt 进行回答，这就是 prompt 的泛化能力。文章《拆解追溯 GPT-3.5 各项能力的起源》分析指出，这种泛化能力与在指令微调阶段让模型学习的标注数据数量以及多样性相关。此外，用少量的 prompt 数据就能微调出类似于 ChatGPT 这样拥有强大能力的模型，背后还隐含了另一个猜测，即模型所表现出来的各项能力，可能在无监督训练的阶段就已经存在于模型当中了。其实这也很好理解，毕竟相比于无监督的数据，这些人工标注的 prompt 数量太少了，很难想象模型是通过对这些仅有的标注数据学习而产生了各种各样的能力。从这个角度来说，指令微调的过程更多只是让模型学会按一定的规范来进行回复，而它的知识、逻辑等能力是早已存在的。 - 「客观公正」的能力：如果对 ChatGPT 询问一些有害或者有争议的问题，可以看到 ChatGPT 的回答都是非常「小心」的，很像是经过训练的新闻发言人般的回答。虽然它目前依然做得不够好，但这种能力是 OpenAI 敢将它公开作为一款产品使用的核心因素。让模型的输出符合人类的价值观是 OpenAI 一直在做的事情。早在 2020 年 GPT-3 的时候，OpenAI 就发现这种通过网上的数据训练出来的模型，会生成带有歧视、危险、争议的内容。作为一个对外提供服务的产品，这些有害的内容显然是不合适的。而现在的 ChatGPT 在这一点上有着明显的改善，让模型做出这种「行为改变」的主要方法也来自于 InstructGPT 的论文，更确切地说，是通过有监督的指令微调加上人类反馈的强化学习共同完成的，这一点在第二章中也已经做过介绍了。通过上述的分析可以发现，从技术方法的角度来说，ChatGPT 相关的内容都是已知的，但为什么当前只有它拥有如此惊艳的表现呢。实际上从 ChatGPT 推出之后，NLP 社区就一直在分析这其中的原因，虽然很多结论是推测性的，但也为同类模型的国产化带来一些启示。模型体量的因素能力涌现出现的前提是模型体量达到一定的规模，虽然没有具体的指标指引，但从目前的事实情况来看，类似于思维链等比较「高级」的能力，需要在数百亿参数量以上的模型中才表现得足够优异。数据量的因素模型的大小不是唯一的因素。DeepMind 在这篇论文《Training Compute-Optimal Large Language Models》提供了一些分析性的结论，指出训练的数据量需要随着模型的体量相应地增加，更确切地说，是模型训练时「见过的 token」数量，需要随着模型体量增加。论文地址：https://arxiv.org/pdf/2203.15556.pdf 数据质量的因素对于无监督的数据，数据量相对而言并不是很大的障碍，但数据质量往往更加容易被忽视。实际上在 GPT-3 的论文中，就有专门的内容介绍数据的处理工作。为了清洗 GPT-3 的训练数据，OpenAI 专门训练了一个数据过滤模型，来从海量的网页数据中获取更高质量的数据。相比而言，与 GPT-3 体量相当的一些开源模型，例如 Meta 的 Opt 和 BigScience 的 Bloom，似乎没有进行这一步清洗。这也许是这两个开源模型效果劣于 GPT-3 的原因之一。此外，数据质量的衡量维度不是单一的，诸如数据的多样性、内容重复度以及数据的分布情况都是需要考虑的因素。例如虽然 GPT-3 所使用的网页、百科、书籍这三大类数据中，网页数据的总量是最多的，但在训练时这三类数据的采样并不是按照实际数据的多寡进行的。另外值得一提的是，在指令微调的阶段，采用人工编写指令也许是一个重要的影响因素。InstructGPT 的论文明确指出在测评过程中，采用人工编写的指令训练出来的模型，比采用现有的 NLP 数据集通过模版的方式构建指令训练出来的模型有更好的效果。这也许解释了在 T0、FLAN 等由 NLP 数据集构成的指令数据集训练出来的模型为什么效果会差一些。训练过程的影响这类巨型模型在训练时通过集群进行训练，同时采用数据并行、模型并行以及 ZeRO 优化器（一种降低训练过程显存占用的方法），这些方式为训练的稳定性引入了更多的变量。如下这篇分析指出甚至模型是否采用 bfloat16 精度都对结果有明显的影响。分析链接：https://jingfengyang.github.io/gpt 相信了解了上面的这些内容，大家对复刻一个类 ChatGPT 的方式以及会面临的问题会有一个大致的了解。有幸的是 OpenAI 已经证明了这技术路径是能够走通的，ChatGPT 的出现也确实正在改变 NLP 技术的发展走向。 4、未来的展望 ChatGPT 从 2022 年 11 月上线以来，引起了极大的关注。相信即便是非专业领域，甚至是与计算机也很少打交道的群体，或多或少地都知道它的存在，这个现象本身就已经反映出它的出现有些不同寻常。圈外的大众更多的是以好奇、惊讶或者惊叹的方式来感性地认识它的出现。而对从业者来说，它的出现更多的是对未来技术走向的思考。从技术的角度来说，ChatGPT 的出现标志着 NLP 领域的又一次范式切换。之所以说是「又」一次，是因为在 2018 年，也就是初代 GPT 发布的那一年，与之同年发布的 BERT 模型以自身优异的表现，开创了 NLP 的「预训练 + 微调」范式的时代，具体内容在第二章中已经做过介绍了。这里主要介绍由 ChatGPT 开启的「文本生成 + 指令」的范式。具体来说，就是利用训练好的 ChatGPT 或类似的文本生成模型，通过输入适当的指令（prompt）来完成某一项具体的场景。这种范式与此前的 NLP 技术应用有很大的不同。不论是早期的利用 LDA、RNN 等统计模型或很小的深度学习模型的时代，还是后来利用 BERT 等预训练配合微调的时代，技术所提供的能力是相对原子化的，距离实际的应用场景有一定的距离。就拿前面举的让 ChatGPT 根据要求写英文邮件的例子，按照此前的做法，可能需要先抽取实体、事件等内容（比如时间、地点、事件等），然后通过模版或是模型形成邮件的样式，再通过一个翻译模型转化为英文。当然如果数据量足够训练端到端模型的情况下，也可以跳过中间的若干步骤。但不论采用哪种方式，要么需要将最终的场景拆解成原子化的 NLP 任务，要么需要对应的标注数据。而对于 ChatGPT 来说，只需要一个合适的指令。三个阶段的 NLP 技术范式。这种生成式模型搭配 prompt 的方式，直接略过了中间的各项 NLP 能力组件，用最直接的方式解决应用场景的问题。在这种范式下，完成终端应用的技术路径将不再是用单点 NLP 能力模块通过搭积木的方式组合起来。当然，这个过程不是一蹴而就的，也不意味着 NLP 的单点能力变得不重要。从测评的角度来说，每一个单点能力的好坏依然可作为评价模型效果的指标。并且，就某些场景来说单点能力依旧是一个强需求。例如在订票系统中本身就需要针对时间、地点进行提取。但与此前不同的是，ChatGPT 本身也可以完成单点能力，而不需要使用额外的功能模块。 ChatGPT 进行信息提取。 ChatGPT 进行情感判断。从这个角度来说，可以把 ChatGPT 看作是一个以自然语言作为交互媒介的 NLP 工具。如果说在过去，我们是通过模型 + 数据 + 设计训练任务的方式来完成某项 NLP 能力，那么 ChatGPT 则是通过设计指令来完成这些能力。可想而知，ChatGPT 的出现大大降低了 NLP 技术的应用门槛。但它目前还不是全能的。最重要的一点在于它缺乏准确可靠的垂直领域知识，为了让它的回答可靠，最直接的方式是为它提供外部的知识来源，就像微软将 Bing 的搜索结果作为它回答的信息来源那样。因此，「传统」的 NLP 技术并不会就此完全消亡，而是会以「辅助」的角色，作为目前 ChatGPT 短板的补充，这也许会是未来 NLP 技术应用的新范式。作者：追一科技来源：机器之心、DeFi之道来源：金色财经

金色财经2023-02-26

24小时热点