FX168财经网_全球视野外汇黄金加密货币NFT资讯网

AIGC 行业专题报告：从 AI 技术演进看 AIGC

产品密集发布，ChatGPT爆火出圈。Google 于 2022 年五月推出了文本图像生成模型lmagen，同年8月，开源 AI 绘画工具 StableDiffusion 发布；2022 年 9 月，Meta 推出可利用文字生成视频的产品 Make-A-Video 以推动其视频生态的发展。2022 年11 月30 日，OpenAl推出 AI 聊天机器人 ChatGPT，AIGC 的内容产出能力迅速吸引大批用户，至2022年 12 月 5 日，根据 OpenAI 创始人表示，ChatGPT 用户数已突破100 万。2023年2 月，微软宣布推出由 ChatGPT 支持的新版本 Bing 搜索引擎和Edge 浏览器，AIGC与传统工具进入深度融合历程。算力与数据皆备、大模型加速 AIGC 技术导入，应用创新、场景落地渐行渐近深度模型的进步与创新奠定 AIGC 走向成熟的基础。就底层技术而言，不断创新的生成算法、预训练模型、多模态等技术是 AIGC 行业发展的前提，以此为基础AIGC在自动化内容生成上具备了通用性、基础性多模态、参数多、训练数据量大、生成内容高质稳定等特征优势。预训练模型进一步打开了 AIGC 的技术和商业化可能。以往的生成模型存在使用门槛高、训练成本高、内容生成简单和质量偏低等劣势，而真实内容消费场景具备灵活多变、高精度、高质量等痛点要求。预训练模型的出现通过提高AIGC技术能力解决了上述问题。AI 预训练模型。即大模型、基础模型(FoundationModel)，其基于大量数据与巨量参数的模型，可适应下游广泛任务并显著提高各种下游任务的性能。AIGC 进入预训练模型时代以 2018 年谷歌发布基于Transformer机器学习方法的自然语言处理预训练模型 BERT 为标志。当前按照基本类型分类，预训练模型包括:(1)自然语言处理(NLP) 预训练模型，如谷歌的LaMDA 和PaLM、OpenAl 的 GPT 系列;(2)计算机视觉(CV)预训练模型，如微软的Florence:(3)多模态预训练模型，即融合文字、图片、音视频等多种内容形式。以 GPT 为代表的大模型表现优异，AIGC 加速从实验室设想向产业化落地。1）根据 IDC 的定义，AI 大模型是基于海量多源数据打造的预训练模型，是对原有算法模型的技术升级和产品迭代，用户可通过开源或开放API/工具等形式进行模型零样本/小样本数据学习，以实现更优的识别、理解、决策、生成效果和更低成本的开发部署方案。大模型的核心作用是突破数据标注的困境，通过学习海量无标注的数据来做预训练，拓展整体模型前期学习的广度和深度，以此提升大模型的知识水平，从而低成本、高适应性地赋能大模型在后续下游任务中的应用；2）以GPT 系列自然语言处理模型为例，从 2018 年 6 月的GPT-1 模型，经过数代的模型迭代，GPT3.5 已经从早期的 1.17 亿参数量提升至当前的千亿级以上，而基于GPT3.5 的 ChatGPT 在人机对话中表现优异并火爆出圈，印证了大模型在文本、图像乃至视频等领域内容生成的可能性和商业化潜力。从 PGC 到 AIGC，AI 有望重构内容与媒介生态 AIGC 多样化的内容生成能力使其覆盖各类内容形式，各类应用场景正随技术进步逐渐落地。AIGC 不仅可覆盖文本、音频、图像、视频等基本内容模态，还可综合图像、视频、文本进行跨模态生成，并应用于各类细分行业成为具体的生产力要素，例如游戏行业中的 AI NPC、虚拟人的视频制作与生成等。从 PGC 到 AIGC，内容与平台从生态到商业模式有望重塑，新投资周期即将来临。1）从 PGC 到 UGC、PUGC，传媒互联网从 web 1.0 的门户时代进入到移动互联网的web 2.0 时代，结合算法推荐的信息分发模式诞生了以字节跳动（抖音、今日头条）、美团、快手、小红书等为代表移动互联网新贵；2）算法推荐重塑了信息分发模式，而 AIGC 则实现了信息、内容的 AI 创作，内容生产将从PGC、UGC、PUGC迈入 AIGC 时代，内容生产的效率有望实现跨越式提高，内容将迎来大爆发时刻，与之相应的，从内容到媒介平台都将会迎来生态和商业模式的重塑，内容与平台的新投资周期即将来临。投资分析 AI 是新一轮生产力革命，算法创新及算力进步、数据爆发，催化本轮人工智能奇点将至。1）人工智能（AI）基于机器学习和数据分析的方法，赋予机器人类的能力，从而实现解放人力、降本提效的目的，已经成为推动新一轮生产力革命的核心技术方向；2）经历符号主义、连接主义和行为主义的持续演进，最终诞生了引导本轮 AI 落地的深度学习技术；深度学习技术的出现，改变了传统AI 的技术路线，解决了传统机器学习算法无法处理大量数据、准确率遭遇瓶颈的问题，使得AI 从理论上具备了工程化落地的可能；基于摩尔定理的算力提升，互联网及数字经济的快速发展带来的数据量井喷，使得 AI 最终从设想走向场景落地，在语音识别、图像识别等领域的计算准确度都实现了突破性进展并得到广泛应用。从算法推荐到内容生成，AIGC 有望带动新一轮内容与平台革命。1）从传媒互联网的实践来看，基于 AI 算法推送的信息分发模型已经为web 2.0 时代主流的信息组织模式，并诞生出以字节跳动、快手、小红书等为代表典型产品和商业案例；2）从算法推动到内容生成（AIGC），新时代的大门正在打开：海量的数据资源、快速提升的算力水平和不断降低的单位算力成本开销、基于深度学习的预训练大模型构建的通用大模型显著降低应用开发门槛，数字化的高渗透率赋予充裕场景应用可能；从 PGC 到 AIGC，内容生产的大爆炸将重塑内容与平台生态、商业模式，新一轮产业机遇渐行渐近。来源：金色财经

金色财经2023-03-10

TCL电子（01070.HK）持续中高端突破

际市场方面，TCL电子积极与Roku、Google等国际互联网巨头保持紧密合作，从2021年开始持续获得来自Google平台运营收入分成；同时，雷鸟网络科技积极发展海外业务，通过合作伙伴OTT平台快速积累TCL Channel用户，截至12月底，内容聚合应用TCL Channel已覆盖北美、欧洲、中南美洲、亚太等地区的60个国家，累计用户数超过1,200万。未来展望：以科技化、全球化推动企业发展，与时俱进落实全场景智慧生活战略未来，TCL电子进一步深化"科技化"和"全球化"发展，坚定"品牌引领价值，相对成本优势，极致效率经营，协作创新驱动"的经营战略，着力全球重点区域发展和重点渠道覆盖，加码研发创新以更好驱动产品转型升级，持续提升产品竞争力及品牌影响力，力争实现全方位高质量发展；公司亦将密切关注时代新趋势，把握新兴机遇，不断拓展业务与服务边界，积极培育新增长曲线，为全球消费者带来更智能便捷的生活体验，同时也为股东带来更大的价值回报。 [1] 智屏主要指智能电视（"TV"）相关的大尺寸显示产品，以出货量计公司超95%的TV为智屏产品。 [2] 数据源：Omdia，2022年全球TV出货量数据。 [3] 数据源：中怡康全渠道，2022全年零售量数据。 [4] 数据源：中怡康全渠道，2022全年零售量数据。 [5] 数据源：GfK，2022年出货量数据；NPD，2022年零售量数据。 [6] 数据源：艾瑞咨询，2022线上销量数据。有关TCL电子 TCL电子控股有限公司（01070.HK，于开曼群岛注册成立之有限公司），自1999年11月起于香港联交所主板上市，业务范围涵盖显示业务、创新业务以及互联网业务。TCL电子以"品牌引领价值，相对成本优势，极致效率经营，协作创新驱动"为战略，积极变革创新，聚焦突破全球中高端市场，努力夯实"智能物联生态"全品类布局，致力为用户提供全场景智慧健康生活，打造全球领先的智能科技公司。TCL电子已获纳入深港通之合资格港股通股份名单，是恒生港股通指数、恒生综合中小型股指数及恒生可持续发展企业基准指数成份股，并从2018年起连续五年获得恒生指数公司授予ESG评级A。如欲查询更多资料，请浏览TCL电子投资者关系网站http://electronics.tcl.com，或访问TCL电子投资者关系官方微信公众号。

美通社2023-03-10

硅谷银行暴雷哪些加密企业牵涉其中？

Microsoft Azure AD、Google 和 Salesforce。注意：Keepit 网站是 https://www.keepit.com/，不要将其与另一个同名区块链项目混淆。 Alviere 去年 6 月，嵌入式金融平台 Alviere 宣布获得 SVB 投资，具体金额未知。此前 Alviere 已完成两轮共计 7000 万美元的融资。Alviere 提供完整的嵌入式金融平台，可以轻松使任何品牌为客户、粉丝和员工提供全套金融产品和服务。去年 3 月，Coinbase Prime 宣布与 Alviere 建立合作关系，将为 Alviere 的嵌入式金融平台 The HIVE 提供加密服务，刚开始会提供数字资产的托管并允许全球品牌提供加密交易服务。Coinbase Prime 是 Coinbase 推出的一个集成解决方案，提供安全托管、高级交易平台等服务。 Plaid 2021 年 9 月，SVB 宣布与美国支付公司 Plaid 合作，允许客户使用 Plaid 即时验证银行账户信息，并通过代币化支付解决方案安全地生成支付。SVB 是第一家提供与 Plaid 集成 ACH 账户代币的银行。该联合解决方案，通过代币化系统连接了 Plaid 的即时账户验证和 SVB 的 ACH API 功能，以最大限度地减少对受益人敏感银行数据的处理。Plaid 和 SVB 一起为客户提供了一种有效和安全的方式，直接从他们的 SVB 账户中处理付款。该集成还使联合客户端符合与 WEB 借记和数据安全欺诈检测标准相关的 Nacha 要求。据了解，Plaid 是一家美国金融科技公司，号称美版「支付宝」；2020 年金融巨头 Visa 曾计划以 53 亿美元 Plaid，最终因反垄断诉讼未能成功；2021 年，Plaid 完成 4.25 亿美元 D 轮融资，由摩根大通领投。 Paystand 基于区块链的 B 2B 支付公司 PayStand 与 SVB 的交集，最早可以追溯到 2018 年。当时，PayStand 作为初创企业，获得 SVB 加速器孵化支持，成功获得一批早期客户，并在加密熊市中存活了下来。据了解，Paystand 的区块链和软件即服务 (SaaS) 可以改善商业支付生命周期的各个方面，从应收账款到发票对账；通过自动化企业支付，PayStand 使企业能够在全球范围内进行交易，加速获得营运资金并实现底线成本节约。经过几年的发展，Paystand 逐渐壮大，每年营业收入翻一番；2022 年，Paystand 被《硅谷商业杂志》评选为增长最快的私营公司之一。来源：金色财经

金色财经2023-03-10

ChatGPT爆火之后 AIGC往何处去？

历了怎样的发展历程？ 2017年6月，Google发布Transformer这一神经网络算法模型，它为大型语言模型的发展奠定了基础。一年之后，OpenAI公司推出了GPT-1，GPT-1采用语言模型预训练+微调训练两阶段的训练方法，在问答和常识推理、语义相似度、分类等任务中，取得了还不错的语言任务执行效果。 2018年10月，Google推出另一个语言模型——BERT，效果超过GPT-1。图片来源：知乎@雅正冲蛋 GPT和BERT都是基于Transformer衍生出的算法，但在技术路线上各有侧重。GPT基于 Transformer 右边部分，叫解码器。BERT基于 Transformer 的左边部分，叫编码器。 GPT的技术原理是预测下一个词，你可以看作是“文字接龙”，你写出前面的句子，由GPT来猜下一个词。但BERT更像是“完形填空”，其技术原理是把一句话中某个词给遮挡住，然后请BERT来猜。解码器擅长创作，编码器擅长理解，当时它们要做的更多是屏蔽语言模型（Masked LM，类似“完形填空”）、相邻句子判断（Next Sentence Prediction，判断句子是否能相连）这类偏阅读理解的任务，因此BERT占了上风。 2019年，GPT-2发布，它采用15亿个参数的Transformer解码器，在当时是个比较大的模型。相比BERT，OpenAI研究人员发现，GPT-2预训练的语言模型无需微调训练，可直接执行多种下游任务。这个发现坚定了研究人员沿着现有技术路线，继续研发的决心。 2020年5月，GPT-3诞生，它采用了史无前例的1750亿参数的Transformer解码器，用了接近5000亿单词的文本训练数据。整个训练过程可以说是“大力出奇迹”，让GPT-3在文字生成方面实现质的飞跃。GPT-3除了可以出色完成文字生成、翻译、问答和文本填空等语言类任务外，还“涌现”出了其他一些智能，包括上下文学习，以及更强大的零样本和少样本执行任务的能力，等等。 GPT-3生成的文本质量非常高，有时候人们甚至难以区分文本到底是人类写的，还是GPT-3生成的。基于GPT-3，已经衍生出很多应用，人们用GPT-3来创作各种类型的文本。有人用它写了一篇新闻，被某热门新闻点评网站排到头部。一家名为Jasper的公司利用GPT-3为企业提供商业文本写作服务，2022年其收入达到9000万美元左右。 GPT-3之后，OpenAI通过增加程序代码训练和人类反馈强化学习等多种训练手段，并将主版本升级到GPT-3.5。最终，2022年11月，ChatGPT横空出世。 ▍训练GPT-3模型的三“大”要素：算法、数据、算力我们称GPT-3为大模型，这个“大”体现在哪些地方？首先是算法。GPT-3采用的是Transformer的解码器，具有1750亿个参数和2048个Token（可简单理解为单词，下同）的训练文本长度。图片来源：OpenAI团队论文《Language Models are Few-Shot Learners》第二是数据。上图是GPT-3的训练数据，总共接近5000亿个token的文本，主要包括Common Crawl、Webtext2、Books1、Book2、Wikipedia等等。其中占比最大的训练数据是Common Crawl，它是一个开源的数据集，抓取并保存了全球大量网页的数据。第三是算力。据微软发布的信息， OpenAI 使用一台全球排名前5的超级计算机系统来训练GPT-3，该系统拥有超过28.5万个CPU核心，1万个GPU和每秒400G的网络。据悉其训练成本约为1200万美元。 02 人们如何看待ChatGPT？ ChatGPT诞生以来，引发的讨论非常多。那么说回来，人们如何看待这个新事物，对它又有什么期待？虽然众说纷纭，有3个议题是被频繁提到的。 ▍人们肯定ChatGPT是一个称职的语言模型首先，ChatGPT是迄今为止最成功的人类语言模型，已经具备形式语言能力（洞悉语言的规则模式等知识）。 ChatGPT具备理解和生成人类语言文本的能力，可跟人类轻松对话。它用数据驱动的大型神经网络的计算方式，某种程度上解码了人类语言的内部规律。这个内部规律不是某种公式，而是一个神秘、暂不被人类理解的权重参数矩阵。以前，人们认为算法模型如果仅靠输入文本，很难获取关于语言的知识。但如今，ChatGPT可以从文本中直接学习语言的层次结构和抽象类别等，这是一种无监督学习的能力。此外，ChatGPT也不只是个话痨。它可以写作文、创作诗歌、撰写商业文本、翻译、做阅读理解、代码理解和生成等。可以说，作为一个语言模型，ChatGPT已经比较称职。 ▍人们期待ChatGPT具有思维能力人们对ChatGPT的期望不仅仅是语言模型，人们甚至期待ChatGPT成为一个思维机器，发展出功能语言能力（用语言思考和做事的能力）。 ChatGPT“涌现”出一些智能，包括上下文学习（理解和学习人类对话输入文字的能力）、世界知识抽象（例如事实性知识和常识）、执行泛化任务（包括没有做过的新任务）、复杂推理等。然而，当前ChatGPT的这些功能都还不算强大，出错甚至崩溃时有发生。当前，人们在思维机器方向的探索有很多，例如有一种借助思维链（Chain of Thought）的方法，试图引导或者优化语言模型展现出复杂的推理能力。这些研究方向的进展仍在持续。上图展示的是，一位科研人员在跟ChatGPT的对话中，通过分步骤提示引导的示例训练（引导过程未展示），使ChatGPT展现出分步骤思考和计算的能力。据分析，ChatGPT的这个能力来自GPT-3.5模型本身，思维链训练方法只是让它意识到应该用这种方式来思考和回答问题。整个过程有点类似老师辅导学生做题。虽然这道题对于10岁的孩子来说很容易，但对语言模型来说却很难，主要是由于数学和语言混合在一起。这类问题只是开始，当前思维链的前沿科研工作已经转向更有难度的问题，例如高中、大学，甚至是国际数学奥林匹克问题。加利福尼亚大学洛杉矶分校(UCLA)近期的一篇论文发现，ChatGPT似乎展现出了类比推理的能力。什么叫类比推理？推理分三种，包含演绎、归纳、类比。“类比推理通常被视为人类抽象和概括能力的典型能力。在广泛的问题类型中，ChatGPT达到或者超越人类水平...显示出这种零样本类比推理的能力。” 然而，ChatGPT的推理能力因其对世界缺乏物理理解而受限，因为它仅仅依靠文本输入，缺少视觉（图像和视频）、声音、嗅觉等多模态数据输入。文本对世界的物理描述是有限的，比如你很难通过文字描述清楚一间屋子里不同物品的位置具体，相反，看一张关于这间屋子的图片，物品的位置信息就一目了然。听说GPT-4将于2023年发布，届时会加入视觉等多模态数据输入，这将有望进一步提升它的智能。 ▍对于ChatGPT能否成为“人类大脑”或通用人工智能，人们持有巨大争议目前，针对ChatGPT是否能够变成“人类大脑”或者通用人工智能（AGI），争议还非常大。Yan Lecun是深度学习的三巨头之一，他也是Meta（原Facebook）公司的首席AI科学家。他认为机器和人类不一样，人类会在心智里面构建一个虚拟世界，进行推理和模拟，这点目前机器做不到。著名语言学家乔姆斯基在2019年的一次采访中提到，深度学习更偏工程，有点像推土机，可以使用，但它没有能力告诉你人类语言的任何事情。（注：ChatGPT这类语言模型可以输出很精彩的文本，但是我们没有确凿证据证明它真正掌握了语言的规律，当然也有可能是它掌握了规律，但人类无法理解。） Kyle Mahowald等学者认为，“擅长语言” 未必 “擅长思考”。虽然人类的语言和思想是不可分离的，但专⻔处理语言的人脑区域，与负责记忆、推理和社交技能的人脑区域是分开的。因此不应该对语言模型有过多期望。 Kyle Mahowald提到了一个GPT-3没能理解的失败案例：怎么把沙发放到你家屋顶上。就像我们在上文提到的，屋顶、沙发、起重机等更偏世界的物理知识，对于人类来说，很容易就想到用各种办法把沙发放到屋顶上去，但你很难让ChatGPT理解这样的操作思路。这个例子也说明世界物理知识的输入，特别是视觉等多模态数据输入的重要性。 03 背后的技术和发现很精彩，也还有很多发展空间讲完ChatGPT究竟是什么，我们再来讲一下背后的技术。我们在上文提到，ChatGPT相当于用“文字接龙”这样简单的技术原理来训练和使用语言模型，从而实现跟人类的高质量智能文本对话。这个技术原理，理论上是有升级和改善机会的，从而可能达到更好的效果。在神经网络参数量方面，业界有人认为有优化空间，例如是否可以用参数量较小的模型达到同等效果。2048个token文本输入窗口的设计及计算机制，也可能有优化空间。例如当前有人试图让ChatGPT写推理小说，但推理小说里面的推理线索往往不易察觉且距离较远（例如好几个章节之前的一个小线索），这个距离远远超出2048个token文本的窗口，如何把当前窗口之外的知识信息容纳进来，也存在优化可能。整体而言，作为底层算法模型的Transformer在2017年6月才诞生，现在还处在发展早期，在快速迭代和改进完善之中，应该还有很多发展空间。此外，前面提到的多模态数据输入，会给GPT-4带来什么样的能力涌现和性能提升，也是业内人士和群众翘首以待的。 ▍人类可以从ChatGPT中学到什么关于语言的规律？在对人类语言的探索上，ChatGPT比以往的任何产品都走得更远更深。我们人类可以从ChatGPT身上学到什么？ Stephen wolfram这名科学家认为，人类语言可能没那么复杂，只是因为我们人类没有能力理解和掌握其背后的规律；而ChatGPT用基于神经网络的算法，成功解码了人类语言的本质。据OpenAI公开的GPT-2的论文，GPT-2的训练数据是纯英语文本（做了非英语文本过滤）。即便如此，它还是显示出一些多语言能力，并且展现出非常出色的法英互译能力，尽管只是接受了10MB左右残留的法语文本训练数据。这个现象引发了人们的思考，当前人类在语言学习方面花费大量的时间和精力，这个学习效率是不是有提升的空间？我们能不能向语言模型学习，更加有效率地学习人类语言？ ChatGPT在生成文本时，是每次选择一个词，这个词是在语言模型给出的概率表中做出的选择。当前科研人员的发现是，如果每次都选择概率最高的词汇，理论上是最优解，最后呈现却往往是一篇非常普通的文章；如果不是每次选择最优解，例如随机选择排名稍微靠后一点的，却有更大机会生成一篇精彩文章。这也是个有意思的未解之谜。以前，我们可能认为创作一篇散文或者一首诗，背后是人类精心的构思和创造。但对于AI而言，创作意味着概率和选择，我们认为的精彩文章创作原来只是AI枯燥的选择过程而已。由ChatGPT反观，可能人类对语言本身的奥秘还知之甚少。 ▍语言特征空间的单词分布 GPT把文字向量化了，建立了语言的高维特征空间，也称为隐含空间（Latent Space）。 GPT-2中每个词是一个768维的向量，GPT-3中每个词则是12288维的向量。每一个维度代表着一个属性，相当于GPT-3用1万多种属性，来描述人类语言中的词汇特征。 Stephen wolfram试图打开人类语言的特征空间，来观察其中的规律。他选择规模较小的GPT-2的特征空间，把它映射到人类比较容易理解的二维空间，从中发现了许多有意思的现象。比如，crocodile鳄鱼和 alligator短吻鳄离得很近，苹果跟梨聚在一起，这个可能容易理解。有趣的是，词汇之间的关系，还能从向量加减操作中反映出来，比如皇帝（King）的向量减去男人（man）的向量，再加上女人（woman）的向量，就变成了女皇（Queen）的向量。另外，他还试图在GPT-2的语言特征空间中，寻找每次生成一个句子的游走规律，我们能从上面这个图片中，看到GPT-2是怎么在768维度的空间中游走并陆续做出下一个词的选择，但是很遗憾他还没有找到其中的规律。虽然从高维映射到二维中丢失了很多信息，但是未来如果能结合多维空间中的向量，我们可能会发现更多关于语言的规律。 ▍Transformer神经网络算法架构及注意力机制 2017年6月，Google发表了非常著名的Transformer论文，论文标题是《Attention is all you need》，意思是说你只需要注意力机制就足够了。图片来源：知乎@雅正冲蛋 Transformer神经网络算法架构的框图如上，如前文所述，左边部分是编码器，右边部分是解码器。Google研发的BERT用的是编码器，而OpenAI的GPT系列用的是解码器。在AI领域，有四大类神经网络算法，包括MLP、CNN、RNN、Transformer。MLP是多层感知器，CNN是卷积神经网络，RNN是循环神经网络。 Transformer是最新的算法模型。在一些场景中，它正在逐渐替代CNN和RNN。Transformer的特征提取能力比较强，擅长长序列处理、并行计算、多模态处理等。Transformer的注意力机制有点像人一样，选择性关注，因为资源有限，只会关注最重要的事情。 Transformer已经被广泛应用在自然语言处理、计算机视觉以及生物科技等领域。生物科技行业用来预测蛋白质三维形状的Alpha Folder算法就是基于Transformer算法模型来做的。 ▍哪个模块是GPT-3储存智能的地方？ GPT-3模型发布时，OpenAI团队发布了论文《Language Models are Few-Shot Learners （语言模型是少样本学习者）》。上图是GPT-3模型的框图，它基本上跟Transformer 的右边部分的解码器是类似的。无论是预训练还是推理（做任务），都是从框图的最底部输入前面部分的文本（GPT-3模型最大的长度是2048个token），然后经过12次运算，从Text prediction输出下一个词概率预测（Task Classifier是微调训练分支，在此不详述）。一个有意思的话题是，GPT-3用1750亿个参数，去学习接近5000亿单词的文本，显然它不是简单地把3个单词存在1个参数中去，而是大抵掌握了一些语言规律且抽象了某些知识和能力。那么，问题来了，这些规律、知识和能力到底存在哪些地方呢？有学者认为，1750亿参数主要集中在框图中的注意力处理层和前馈网络层，前者的值是动态计算的（每输入2048个token，就重新计算一次），它们是数据相关的动态权重，因为它们会根据数据动态变化。而前馈网络层的权重是随着训练过程而缓慢变化的，因此，有学者猜想在前馈网络层中存储着GPT发现的语言规律、知识和能力等，因为要经过12次运算，运算次数越靠后存储的信息越抽象。 Stephen wolfram把GPT-2的某个前馈网络层存储的768*768维度的权重参数矩阵提取出来，压缩到64x64尺寸，就形成了如下一张神秘的图像，代表着GPT-2总结的神秘的人类语言编码规律及其他一些知识和能力的一部分。很好奇什么时候科学家可以逐步解密其中的部分内容，相信对于人类提升自我能力有好处。图片来源：writings.stephenwolfram.com 04 未来，ChatGPT能否进化出自我意识？和AI相比，自我意识和自由意志可以算作是人类最后的堡垒。但是有一种观点认为，人类其实没有所谓的自由意志。人类有两个自我，一种是体验自我，另一种是陈述自我。体验自我，负责相对“机械”地解读信息、作出决策；陈述自我，则负责对体验自我的决策进行解释和表述，有时甚至会虚构故事来“欺骗”我们自己。所谓的自由意志，不过是陈述型自我给自己编的一个故事而已。一些科学家和学者认为，理论上，我们可以构造出一个自我模拟的自指机器（Self-referential Machine），让它也具备两套体系，一个负责执行算法，另一个则专门负责对自我进行模拟（描述，或者可称为在内嵌虚拟世界中模拟自我）。这种机器会表现得就“像”一个具有自我意识的系统，以至于我们可以用这样的系统来定义所谓的“自我意识”。在古代欧洲，有一种传说中的衔尾蛇，能够自己吃自己，实现持续进化。后来，有人提出哥德尔机（ Gödel Machine）的设想，认为只要程序能够模拟自身、改造自身，那么我们就可以将其称为具有自我意识的。此外，还有Quine程序结构、克莱因Kleene第二递归定理等也提出和支持了与之相似的假设。图片来源：维基百科我们很难预料，未来机器是否能进化出自我意识。 05 生成式AI领域的其他进展需要指出，当前讨论的生成式AI，跟之前的分析式AI是有较大不同的。分析式AI的主要能力是分析，例如：数据分析、趋势预测、商品推荐、图像识别等，而生成式AI主要的能力是创造，例如：写诗、绘画、设计产品、编写代码等。当前除语言模型外，生成式AI领域的其他进展还包括图像生成模型等等。未来，多模态（文本、图、视频等）对齐、融合、理解和生成等方向的进展，意义也非常重大。关于图像生成模型，不得不提的是扩散模型（Diffusion Model）。它主要解决通过文本生成图像及其他媒体格式的难题，业内知名的扩散模型包括：DALIE2、Stable Diffusion等。图片来源：Denoising Diffusion Probabilistic Models 06 生成式AI相关的6点创业思考与建议 2022年，大语言模型爆发。据统计，2022年，平均每4天就有一个新的大语言模型问世。生成式AI技术也在持续引发人们对一些知名的模型层平台和应用的访问，数据增长很快，投资火热。2019 年至2021年期间，流向生成式AI业务的资本增加了约130%，其中文本和写作增长630%、图像增长400%、数据增长 370% 、音频/视频增长350% 。图片来源：A16Z 上图是投资公司A16Z总结的生成式AI的行业堆栈。底层深蓝色的部分是基础硬件和云平台，中间蓝色的部分是模型层，再往上浅蓝色的部分是应用层。在应用层，有的创业公司自身只做应用，模型能力则是调用外部的；还有一类叫端到端的应用模式，它会自己做模型，但一般不做大模型，或者在其他大模型基础上微调出自己的模型。在模型层，有开源模型和闭源模型。深蓝色部分的Model hubs是用于模型存储和训练的第三方平台。当前应用层的增长比较快，主要是由AI赋能的新型应用案例所驱动，主要集中在图像生成、文案写作和代码编写，三个类别各自的年收入已超1亿美元。关于生成式AI的创业，我有6点思考和建议：第一，目前，与AI相关的科研、工程、产品和商业化，都在同时快速迭代，变数很大。这个过程中，会出现不同的技术分支和业务路径，如果选错了技术分支和业务路径，再掉头就很麻烦。这就需要创业团队既懂技术又懂业务，在创业初期努力做出正确选择。第二，对创业公司而言，从应用层或者端到端的应用层切入，可能是相对能降低风险的做法。模型层有少量机会，但不一定适合大部分的创业者。第三，应用层在做商业模型设计的时候，要警惕模型层的边界。以Jasper公司为例。2020年在GPT-3模型基础上，Jasper衍生出付费商业文本写作的商业模式。到了2022年底，ChatGPT向用户免费开放，给Jasper带来较大的压力。尽管OpenAI未必会以商业文本生成作为自己的主要商业模式，但它平等赋能了入场的其他竞争者。Jasper需要展现出有竞争力的技术积累与业务纵深，才能稳住脚跟。第四，把AI技术应用到产业场景，可分为新模式和旧模式改造两类方式。新模式是指创造之前没有的全新的应用场景，旧模式改造则指在现有产业场景里用AI技术来改造部分环节，或者团队带着深度行业认知和新的AI技术在成熟的产业场景中创业。新模式和旧模式改造，都存在巨大的机会。在峰瑞已投企业中，有好几家企业在垂直产业的场景中做业务创新。比如线上心理咨询平台阁楼、短视频及直播SAAS服务企业特看科技、线上健身私教平台BodyPark，都在积极使用生成式AI来赋能自己的业务。本周六（3月11日），我们将邀请这3家公司的创始人来分享他们的探索和发现，欢迎参与。第五，AI还面临科研知识快速溢出的问题，因此找到自己的壁垒很重要。创业公司一定要想清楚自己未来的壁垒在哪里，比如到底是数据壁垒、工程壁垒（例如模型微调）、场景壁垒，还是规模壁垒等等。在应用层创业，仅依靠外部模型层提供的能力，是无法形成壁垒的。第六，应用层的创业，应该是“技术为先、场景为重”。 “技术为先”，是指虽然通用AI技术未必是你的核心壁垒，但团队一定要懂技术，才有能力思考如何更早更好地把技术应用到合适的应用场景里，做出好用的产品。 “场景为重”，意味着最后的产品和业务需要找到合适的落地场景，建立自己的商业模式，并在场景里形成自己的核心竞争力。 07 生成式AI行业的未来格局展望和猜想最后来聊聊对AI行业格局的未来展望和猜想。这个部分我参考了奇绩创坛陆奇博士之前的一个思考框架。 ▍以AI和大模型为中心的新IT 新的硅基硬件产业：硅基产业架构和集合可能迎来新的发展机遇（例如：新的计算芯片及周边技术和产业等）。新的软件和云服务体系：算力、模型和数据的云服务、基础软件、ML&Dev Ops、人机互助编程工具等。 ▍新的基础智能终端设备：智能传感器、新型手机等未来的智能终端会越来越智能，最近苹果公司官宣支持Stable Diffusion图像生成模型在iPad等终端上运行，也有工程师把经过裁剪的Stable Diffusion应用在iPhone上运行起来，可以预见以后我们的手机美颜和照片生成可以达到何等出神入化的境界。此外，当前的翻译软件技术，在语义理解方面还是比较浅，翻译质量差强人意。如果可以把类似ChatGPT这样的语言模型能力嵌入到智能终端中去，随着文本和语音的实时翻译成为可能，跨语言交流将变得很方便，这对于提升人类之间的交流效率意义重大。 ▍围绕内容创作展开的产业文、图、视频、3D等各种媒体格式的AI内容创作工具，是当前可以看到创业机会较多的新产业。以ChatGPT为代表的语言模型的文本生成技术，和以扩散模型为代表的图像视频多模态生成技术，可能会对内容产业产生深远的影响。从PGC到UGC，再到如今的AIGC，内容领域会有更多新变化与新玩法。从媒体行业发展情况来看，当前头部的内容媒体平台比如抖音快手B站是所谓的Web2.0平台，普遍采用UGC方式为主来生产内容，但是随着AI生产内容（AIGC）的出现，AI可以生成大量优秀内容，成本较低、效果精良，而且甚至不乏创意，这个情况下内容媒体平台和行业就有可能出现较大的变化。 ▍围绕语言模型展开的产业在这个领域，新的机会可能包括：语言学习范式改变，重塑跨语言沟通方式，更友好的人机界面等。其中特别值得一提的，是语言学习范式的改变。如前文所述，如果我们可以打开语言模型，从中寻找到语言学习的规律，说不定可以帮助我们更有效率地学习语言。事实上，OpenAI投资了一家韩国的英语学习APP叫Speak。从有限的公开信息来看，这家公司未来的产品是一个语言学习助手，或者叫做虚拟语言老师——借助语言模型的能力和发现的语言规律，去帮助人们更好地学习外语，而且成本极低。跨语言沟通的技术目前还不成熟。如前面所说，如果我们能够把语言模型加载到智能终端，可能会极大改进跨语言沟通的能力。因为语言模型足够强大，未来我们的人机界面，会采用更友好的自然语言人机界面，无论是跟APP对话还是跟智能硬件对话。 ▍围绕思维模型展开的产业不妨畅想一下，更聪明的软件（或机器人）、科研服务、 “知识工程”、“世界大脑”等。当前的软件产业，即便有AI的加持，通用性和智能程度还是不尽如人意的，大多数情况下只能做一些特定的任务，只能成为人类的效率助手；随着更加通用的AI能力出现，软件也可以像人类一样思考和做事，可以想象软件就可以帮助人类承接较为完整的任务了。如果AI可以发展出接近人类的思维能力，它也许可以成为人类科学家的科研助手，因为AI可以不知疲倦，且可广泛使用。当前，我们很难想象AI可以达到人类顶尖科学家的水平。打个比方，你让它去证明下哥德巴赫猜想，应该还是很不现实的。当然也有其他可能，如前文所述，如果AI程序可以实现自我优化，具备迭代自己的算法和技术的能力，相信它的智能会很快赶上来。如果我们展开想象，就可以有更多的可能性。例如“知识工程”，如果把人类的知识建模，然后让人类以某种方式可以调用或者学习，那么就不用经过“痛苦”的学习过程。“世界大脑”，是指规模极大的思维模型，它可以帮助我们执行各种重要的计算和思考。不过，如果真的发展到这个地步，可能离电影《黑客帝国》里边的Matrix就不远了。 ▍赋能人类，深入改变各行各业（特别是知识工作者）语言是人类最主要的沟通方式，是知识和思维的主要载体；而深度思维是人类的高阶能力，也是人类不同于其他物种的最重要的能力。如果AI掌握了这两种能力，就基本具备了在某种程度上赋能或替代一部分人类知识工作者的可能。类似于自动化生产制造设备赋能传统工业，各类AI模型和应用软件也将有机会更好地赋能各行各业。但是不同于制造行业，大批量使用的软件，其边际使用成本是非常低的，而且它很聪明、善学习、会思考、会交流，应该会有大量的应用场景有待开发。这里边有非常多的创业机会，也会给各行各业带来新的发展动力。 08 写在最后，为什么AIGC不会是短期风口？首先，ChatGPT是语言模型领域的重大进展，鉴于语言对人类沟通和思维的重大意义，语言模型本身具备很强的通用性，以及人类可以通过研究语言模型获取语言及知识的学习规律并得到效率提升，这些都会持续带来长期的创新机会。第二，AI在思维机器这个方向上还有更远的路可以走。例如，如果AI能够实现良好的多模态信息输入，增加对物理世界的理解，可能可以“涌现”出更多的智能。这个方向的任何进步都意义重大。第三，与AIGC相关的底层技术原理和算法都还处在发展早期，未来还有很长的迭代和优化机会。一切，才刚刚开始。来源：金色财经

金色财经2023-03-10

Datamall Chain（DMC）-第三期技术硬核技术AMA

成，我们正在和App Store & Google Play的工作人员合作，进行一些小的修改。主持人：这样我们不久之后就可以使用更便捷的手机客户端了。最后一个问题，那么现在DMC的质押有什么用途呢？嘉宾：质押是给存储提供者矿工用的。在提供存储服务时，需要质押一定数量的DMC。主持人：非常感谢ben，又给大家带来一场硬核头脑风暴。也让大家更了解了未来DMC未来的生态。最后由衷祝愿DMC越来越好。关注我们，期待下一期的硬核AMA。来源：金色财经

金色财经2023-03-10

APT Crypto 是 2023 年的一项良好投资吗？

议抹去了该加密货币估值的 50%。 Google 加强与 Aptos 的合作伙伴关系以探索 web3。“Solana Killer”Aptos 还于 11 月宣布了一项重大合作，以启动与 Cardano DEX 和 Decentraland 的跨链集成。该代币在 2022 年以 3.47 美元的交易价格收盘。来源：金色财经

金色财经2023-03-10

一文读懂稳定币赛道GEM：OGV

货币投资者、YouTube 早期员工、Google/Dropbox 工程经理以及 Paypal 联合创始人之一——潘宇。26 名核心团队、 6 名社区团队、 7 名顾问、 273 名开源贡献者都有在官网公开披露。项目方另一个 NFT 项目代币 OGN 流通市值 6000 万美元，目前也上线了币安、coinbase、火必、库币、gate、kraken 等主流交易所。四、风险提示 1. 智能合约风险尽管智能合约已经经过多家安全公司审计，但仍然有可能出现逻辑错误，导致投资者资金损失。在项目初期， 2020 年 11 月 7 日，由于之前未检测到的重入漏洞被黑客盗取 700 万美元，之后项目方提出补偿计划并完成多次审计和安全升级后，于当年 12 月重启。 2. 第三方平台风险 OUSD 的部分收益建立在其他 DeFi 平台之上，例如 Aave、Compound 和 Curve，这些平台均有增加额外的智能合约风险。 3. 稳定币风险 OUSD 的资金池由支持的稳定币组成，尽管有一定的风险缓解措施，但仍然可能会因基础稳定币自身风险产生一定损失。例如 SEC 监管、USDT 和 USDC 发行方冻结持有人钱包资金等。五、结论总体而言，稳定币会是一个长期的叙事，BUSD 的退出势必会流向其他稳定币项目。综合来看，OUSD 自带 Defi 属性，通过多种安全可靠的稳定币进一步摊低风险，项目团队实力强劲，尽管目前规模不足 1 亿美元，应用场景少，但未来会有不小的增长潜力。而作为 OUSD 的治理代币，OGV 具备价值捕获能力，本身也是严重低估了，即使目前相较其他治理代币估值也有 10 倍的增长空间。除此之外，OGV 的大哥 OGN 已经上线了各大交易所，未来随着市场发现 OUSD 的价值，同时币安若能和 OUSD 达成合作，那 OGV 大有可为。来源：金色财经

金色财经2023-03-10

突发！两家银行接连“爆雷” 金融股崩跌、四大银行市值蒸发470亿美元

ure银行股价下跌9.4%。（图源：Google）随着这两家公司的暴跌，引发了金融板块的抛售，美国四大银行在周四的交易中损失了470亿美元的市值。其中，摩根大通股价下跌近6%，市值损失约200亿美元；美国银行跌6.1%，市值损失大约150亿美元；富国银行跌6.3%，市值减少了85亿美元；花旗集团跌4.1%，市值减少30亿美元。总部位于旧金山的First Republic跌至2020年10月以来的最低水平，跌幅达15%。 SPDR标准普尔地区银行ETF下跌逾7%，至2021年1月以来的最低水平。 First Republic和SVB是标准普尔500指数周四交易时段百分比跌幅最大的股票，而摩根大通的跌幅超过了标准普尔500指数午盘1.1%的跌幅。 “硅谷的融资让所有人都对人们的资本水平和存款的用途感到紧张。很多机构投资者现在对持有某些银行的股票感觉不好，”Keefe, Bruyette & Woods驻纽约交易部门主管R.J. Grant表示。 “这只是让人们吓坏了，因为硅谷历来是一家非常强大、运营良好的银行。如果他们现在有问题，人们就会想，其他质量不如硅谷银行、声誉不如硅谷银行的银行会怎么样。” 富国银行分析师Mike Mayo在给客户的报告中称，硅谷银行的问题似乎是由“资金缺乏多样化”造成的。更高的利率、对经济衰退的担忧以及首次公开募股(IPO)市场的不温不火，使得初创公司更难筹集额外资金。

夏洛特2023-03-10

美股收盘：道指跌近550点中概股集体下挫京东跌11%

歌-C（GOOG.US）$$谷歌-A（GOOGL.US）$搜索的不满。她抨击谷歌搜索是“原始的人工智能”，尽管该公司拥有DeepMind的专业知识。伍德认为，OpenAI-微软的ChatGPT是这个十年的“iPhone时刻”，改变了一切。“颠覆性的创新，”她说。　　瑞银：苹果第一季度的App Store收入增长恐暂时停滞　　瑞银分析师周三表示，苹果公司旗下App Store于本季度迄今的增长趋势趋平，同比仅增长约31个基点，相对于2022年第四季度的约68个基点有所下降，惟分析师仍然给予苹果买入评级，目标价为180美元，他们表示“未来三个季度的增长表现会明显好转”。瑞银预计，苹果服务业于今年第一季度的增速为5.4％（华尔街一致预期为5.9％），随后的Q2、Q3和Q4，增速也将逐渐加快，分别达6.4％、7.4％和8.3％。　　“新兴市场教父”：重仓芯片股，中美都在进行巨额投资　　“新兴市场教父”麦朴思（Mark Mobius）在接受采访时表示，芯片制造商是其投资组合的第一大类。他称，该行业的公司将有不错的表现，因为“中美两国都在为半导体研究和生产投入巨额资金”。费城半导体指数今年上涨了20％，有望创下2016年9月以来相较于标普500指数的最佳季度表现，后者同期上涨了4％。　　京东Q4净营收2,954亿元人民币　　京东2022第四季度净营收2,954亿元人民币，同比增加7.1％，预估2,955.1亿元人民币；全年收入为10462亿元，同比增加9.9％。Q4归属于普通股股东的净利润30亿元，去年同期为净损失52亿元；全年归属于普通股股东的净利润为104亿元，去年同期为净损失36亿元。Q4调整后每ADS收益4.81元人民币，预估3.54元人民币；调整后息税折旧及摊销前利润89.0亿元人民币，预估80.6亿元人民币。Q4调整后运营利润率2.5％，预估2.22％。

金融界2023-03-10

被年轻人摒弃 Facebook韩国用户数首次跌破1000万

示，截至上月，Facebook在韩国的Google Play Store和苹果App Store的月活跃用户（MAU）合计为979万，较1月下降2.6％。　　这是自2020年Mobile Index开始统计相关数据以来，Facebook在韩国的月活跃用户数首次跌破1000万大关。自2021年8月达到1341万以来，该数字一直在持续下降。　　业内人士表示，这是因为年轻一代更喜欢使用其他与Instagram等短内容兼容的社交媒体，而不是Facebook传统的文本密集型功能。　　Mobile Index表示，上个月Instagram在韩国的月活跃用户达到1852万，同比增长7％。　　另一项调查显示，去年韩国小学、初中、高中学生使用Facebook的比例为46.1％，比2019年的80.3％大幅下滑。而对Instagram的好感度从2019年的61％大幅上升到2022年的81.6％。

金融界2023-03-10

24小时热点