FX168财经网_全球视野外汇黄金加密货币NFT资讯网

债市早报：央行发布2022年第四季度货币政策执行报告，交易商协会“常发行计划”试点优化扩容

简政放权、放管结合、优化服务改革，推进大众创业万众创新，激发了市场活力和社会创造力。发展改革和财政部门作为重要综合经济部门，在这个过程中作出了重要贡献。全国两会即将召开，要起草好与政府工作报告配套的国民经济和社会发展计划报告、财政预算报告，实事求是总结工作，科学安排重点任务，依法接受人民监督。当前经济增长正在企稳回升，但仍面临不少风险挑战，要继续攻坚克难、接续努力，巩固经济增长企稳回升势头，推动经济社会持续健康发展。　　【央行发布2022年第四季度中国货币政策执行报告】2月24日，央行发布2022年第四季度中国货币政策执行报告。报告指出，稳健的货币政策要精准有力。要搞好跨周期调节，既着力支持扩大内需，为实体经济提供更有力支持，又兼顾短期和长期、经济增长和物价稳定、内部均衡和外部均衡，坚持不搞“大水漫灌”，稳固对实体经济的可持续支持力度。保持流动性合理充裕，保持信贷总量有效增长，保持货币供应量和社会融资规模增速同名义经济增速基本匹配，助力实现促消费、扩投资、带就业的综合效应。结构性货币政策工具聚焦重点、合理适度、有进有退，引导金融机构加强对普惠金融、科技创新、绿色发展等领域的金融服务，推动消费有力复苏，增强经济增长潜能。持续发挥政策性开发性金融工具的作用，更好地撬动有效投资。继续深化利率市场化改革，优化央行政策利率体系，发挥存款利率市场化调整机制的重要作用，发挥贷款市场报价利率改革效能和指导作用，推动降低企业融资和个人消费信贷成本。密切关注通胀走势变化，支持能源和粮食等保供稳价，保持物价水平基本稳定。坚持以市场供求为基础、参考一篮子货币进行调节、有管理的浮动汇率制度，坚持市场在汇率形成中起决定性作用，增强人民币汇率弹性，优化预期管理，保持人民币汇率在合理均衡水平上的基本稳定。统筹金融支持实体经济与风险防范，稳步推动重点企业集团、中小金融机构等风险化解，保持金融体系总体稳定，守住不发生系统性金融风险的底线。　　【两部门就《关于金融支持住房租赁市场发展的意见（征求意见稿）》公开征求意见】2月24日，央行、银保监会就《关于金融支持住房租赁市场发展的意见（征求意见稿）》公开征求意见。《意见》围绕住房租赁供给侧结构性改革方向，以商业可持续为基本前提，重点支持自持物业的专业化、规模化住房租赁企业发展，为租赁住房的投资、开发、运营和管理提供多元化、多层次、全周期的金融产品和金融服务体系，共17条，主要内容包括：一是加强住房租赁信贷产品和服务模式创新；二是拓宽住房租赁市场多元化投融资渠道；三是加强和完善住房租赁金融管理。其中提到，拓宽住房租赁市场多元化投融资渠道。支持商业银行发行用于住房租赁的金融债券，拓宽住房租赁企业债券融资渠道，创新住房租赁担保债券（Cover Bond），稳步发展房地产投资信托基金（REITs），引导各类社会资金有序投资住房租赁领域。　　【境外上市备案管理制度配套保密和档案管理规则修订发布】为支持企业依法依规境外上市，配套《境内企业境外发行证券和上市管理试行办法》，证监会联合财政部、国家保密局、国家档案局对《关于加强在境外发行证券与上市相关保密和档案管理工作的规定》进行修订，形成了《关于加强境内企业境外发行证券和上市相关保密和档案管理工作的规定》，自2023年3月31日起与《管理试行办法》同步施行。本次修订主要包括：一是调整适用范围，衔接《管理试行办法》，明确适用于企业直接和间接境外上市。二是为相关主体在境外上市活动中保密和档案管理工作提供更清晰明确的指引。三是完善跨境监管合作安排，为安全高效开展跨境监管合作提供制度保障。从公开征求意见情况看，市场各方积极支持《规定》修订，认为有利于促进境外上市活动健康有序发展。　　【交易商协会“常发行计划”试点优化扩容】2月24日，中国银行间市场交易所协会发布关于优化“常发行计划”（FIP）试点机制的通知，扩大试点企业范围，切实增强信息披露的便利性和普惠性。本次优化一方面借鉴成熟市场实践，取消总资产、资产负债率等财务指标，不再要求发行人市场认可度高、行业地位显著，推动不同行业、资质、规模的高频发行人享受“常发行计划”制度便利，更好服务实体经济需求。另一方面，强调发行人合规性要求，秉持规范与发展并重原则，突出对守规披露发行人的鼓励，因信息披露违法违规的发行人不得适用“常发行计划”，助推银行间债券市场高质量发展。　　（二）国际要闻　　【美国1月PCE物价指数超预期上行】2月24日，美国商务部最新数据显示，美国1月PCE物价指数同比上涨5.4％，预期5％，前值5％。剔除波动较大的食品和能源价格后，美联储更看重的通胀指标——核心PCE物价指数1月同比上涨4.7％，预期4.3％，前值4.6％。环比来看，1月PCE指数较上月上涨0.6％，为去年6月份以来的最大涨幅。扣除食品和能源，核心物价指数环比攀升0.6％。此外，数据还显示，在个人支出连续两个月环比下降后，1月个人收入和支出都在加速。收入环比增长0.6％，预期1.0％，而支出环比增长1.8％，超过预期值1.4％，为2021年3月以来最大的月度支出增幅。1月储蓄率为 4.7％，高于12月的4.5％。　　（三）大宗商品　　【国际原油期货价格微幅下跌，NYMEX天然气价格继续上涨】2月24日，WTI 4月原油期货收涨0.93美元，涨幅1.23％，报76.32美元/桶，本周累计下跌0.02％；ICE布伦特4月原油期货收涨0.95美元，涨幅1.15％，报83.16美元/桶，本周累涨0.19％；NYMEX 4月天然气期货收涨6.409％，报收2.452美元/百万英热单位。　　二、资金面　　（一）公开市场操作　　2月24日，央行公告称，为维护月末流动性平稳，当日以利率招标方式开展了4700亿元7天期逆回购操作，中标利率为2.0％。Wind数据显示，当日有8350亿元逆回购到期，因此当日公开市场净回笼资金3650亿元。上周央行公开市场净回笼共1220亿元。　　（二）资金利率　　2月24日，央行连续两日公开市场大额净回笼，资金面有所收敛，主要资金利率多数小幅上行：DR001上行1.32bps至1.440％，DR007上行8.18bps至2.258％，其他期限利率亦多数小幅上行。　　数据来源：Wind，东方金诚　　三、债市动态　　（一）利率债　　1.现券收益率走势　　2月24日，现券期货震荡偏暖，银行间主要利率债收益率普遍下行1bp左右。截至北京时间20:00,10年期国债活跃券220025收益率下行1.19bp至2.9100％；10年期国开债活跃券220220收益率下行1.25bp至3.0875％。　　数据来源：Wind，东方金诚　　债券招标情况　　数据来源：Wind，东方金诚　　（二）信用债　　1. 二级市场成交异动：　　2月24日，地产债成交价格整体稳定，仅“20宝龙04”跌超66％。。　　2月24日，城投债成交价格整体稳定，仅“17红果专项债01”跌超51％。　　2. 信用债事件：　　世纪互联：标普全球评级确认世纪互联集团公司的长期发行人信用评级为“B”，展望“负面”。　　黔南州投资：据联合资信公告，关注黔南州投资新增被执行标的1.37亿元，根据与公司沟通了解到通过执行和解后还款计划预计将于近期完成。　　瀚瑞控股：公司公告称，股东由镇江市人民政府变更为镇江市国资委。　　希慎兴业：穆迪投资者服务公司已下调希慎兴业有限公司及其子公司的相关评级，并将希慎兴业的评级展望从“负面”调整为“稳定”。　　高密华荣实业：据中国执行信息公开网，2023年1月至2023年2月，高密华荣实业被列为被执行人，涉及执行义务金额合计11,657.61万元。　　潍坊城建：据交易商协会披露，2月24日，潍坊市城市建设发展投资集团发行2023年度第一期超短期融资券项目状态更新为反馈中，拟发行金额10亿元。潍坊城市建设发展投资集团在注册文件补充信息回函中，详细披露了截至2022年3月末发行人主要银行借款、非标融资明细。　　高密城投：东方金诚关注到，截至2023年2月8日，经中国执行信息公开网查询，高密市城市建设投资集团有限公司存在2条被执行记录，执行标的合计约1.59亿元；公司控股股东存在1条被执行记录，执行标的为8116.42万元。此外，截至2023年2月1日，公司共有2笔商业票据为逾期状态，逾期余额合计1.00亿元。　　鸿达兴业集团：公司公告称，公司于2023年2月24日收到持股5％以上股东鸿达兴业集团有限公司通知，广州中院已裁定受理鸿达兴业集团的破产清算申请，后续进入清算、和解或重整程序尚具有不确定性。　　（三）可转债　　1. 权益及转债指数　　【A股三大股指震荡走弱】2月24日，A股市场主要股指震荡下探，上证指数、深证成指、创业板指分别下跌0.62％、0.81％、1.16％，两市成交额缩量至7258亿，北向资金净流出超50亿元。申万一级行业指数多数震荡走弱，其中非银金融、食品饮料、汽车、电力设备、有色金属、建筑材料、家用电器、房地产等行业跌逾1％，仅国防军工、计算机、通信、纺织服饰、轻工制造、钢铁等行业逆势收涨，其中国防军工涨逾1％。　　【转债市场指数震荡整理】2月24日，转债市场主要指数低位震荡整理，中证转债、上证指数、深证转债分别下跌0.29％、0.28％、0.30％，调整幅度不及权益市场。转债市场日成交额645.95亿元，较前一交易日增加42.34亿元。当日，转债个券多数下跌，476只个券中139只上涨，334只下跌，3只持平。个券表现上，当日恒锋转债上涨10.85％，明显领先市场，火炬转债、蓝盾转债、晶瑞转债、润建转债涨超3％，部分个券受交易活跃带动，表现明显好于正股，当日涨幅前十个券市场成交额占比超四成；当日多伦转债跌逾5％，金禾转债、朗新转债、法兰转债、寿仙转债跌逾3％，但多数个券跌幅不大，不及1％。数据来源：Wind，东方金诚　　2. 转债跟踪　　2月24日，科思股份、祥源新材发行可转债申请获深交所审核通过，晶澳科技拟发行可转债募资不超过89.6亿元，镇洋发展拟发行可转债募资不超过6.6亿元，三羊马拟发行可转债不超过2.10亿元。　　2月24日，健友转债公告不下修转股价格，同时在未来6个月内（即2023年2月25日至2023年8月24日），如再次触发向下修正条款，亦不提出向下修正方案；金农转债公告不下修转股价格，同时在未来六个月（2023年2月25日至2023年8月24日）内，如再次触发向下修正条款，亦不提出向下修正方案；回盛转债公告不下修转股价格，同时在未来六个月（2023年2月24日至2023年8月23日）内，如再次触发向下修正条款，亦不提出向下修正方案；正丹转债公告不下修转股价格，同时在未来六个月（2023年2月25日至2023年8月24日）内，如再次触发向下修正条款，亦不提出向下修正方案；文科转债、瑞达转债公告预计满足转股价格修正条件。　　2月24日，明泰转债公告不提前赎回，且自公告披露之日起至2023年8月24日，如再次触发有条件赎回条款时，均不行使提前赎回权利。　　（四）海外债市　　1. 美债市场：　　2月24日，由于当日公布的美国1月PCE增长超预期、个人消费支出环比增幅创2021年3月以来最大，进一步强化了今年持续加息的压力，各期限美债收益率由此普遍大幅上行。其中，2年期美债收益率上行12bp至4.78％，10年期美债收益率上行7bp至3.95％。　　数据来源：iFinD，东方金诚　　2月24日，2/10年期美债收益率利差倒挂幅度小幅扩大5bp至83bp；5/30年期美债收益率利差倒挂幅度小幅扩大5bp至26bp。　　2月24日，美国10年期通胀保值国债（TIPS）损益平衡通胀率小幅下行1bp至2.38％。　　2. 欧债市场：　　2月24日，主要欧洲经济体10年期国债收益率普遍上行。其中，德国10年期国债收益率上行6bp至2.53％；法国、意大利、西班牙10年期国债收益率均分别上行6bp，英国10年期国债收益率上行7bp。　　数据来源：英为财经，东方金诚　　中资美元债每日价格变动（截至2月24日收盘）　　数据来源：Bloomberg，东方金诚整理　　

金融界2023-02-27

游戏将可能成为数字资产生态中10亿用户的用例

或主角白手起家的英雄故事——这些作品对大众更具亲和力。如果你对传统的印刷或有线电视出版商有所研究的话，你会发现他们的观众通常有着共同的意识形态倾向。互联网在很大程度上打乱了这种关系，内容不再由中心化的出版社制作，而是由任何用户共同创作和消费。由于互联网极大地降低了传播成本，内容创作的主体也逐渐扩充至了那些渴望建立受众的用户。与传统媒体不同的是，在社交网络上创建内容的成本甚至低至零，但同时却能吸引越来越多用户的注意。只要在平台上时不时插入一两条广告，你就收获了一台印钞机。将制作内容的成本转移给用户，同时增加用户在这些平台上花费的时间，这两项操作将让新时代的社交媒体具有无限商机。与传统媒体相比，它能以最低的运营成本获得用户关注。当你花时间浏览 TikTok 时，ByteDance（该应用背后的公司）可以毫不费力地为你创建一个无休无止的信息流。他们的成本只限于内容审核和维护服务器，比如 Facebook 花了 5 亿多美元请埃森哲帮助管理内容。据估计，社交网络上每天都有 1.5-3 万名版主在筛选内容。在游戏方面，其他玩家的游戏视频在网络上逐渐兴起。如果你不是一名游戏玩家，这可能听起来很奇怪，但游戏玩家往往喜欢看别人玩，特别是在有弹幕和评论区的情况下。Modest Pelican 和 Girlfriend Reviews是我最喜欢的两个游戏评论员。 Twitch 是现今游戏相关内容事实上的流媒体平台，所有观众加起来每年要花相当于 2500 年的时间观看 Twitch 上面的内容。但是，单纯看别人玩并不能提供持续性的乐趣，所以一些游戏允许创作者建立并向他人出售资产，范围从开发一个简单的赛车游戏到一个需要复杂策略才能获胜的游戏不等。突然间，玩家可以做的事情不再局限于开发者提供的东西；相反，用户可以在此基础上无限创造不同游戏的全新分支。你可以把它想象成发布一本书和发布一份 Microsoft Word 之间的区别，并观察创作者能够想出怎样独特的故事。游戏工作室拥有围绕角色的知识产权和游戏者所处世界的代码，他们还负责创建游戏初始的用户群。《反恐精英》和《帝国时代》等游戏允许玩家在游戏中创造独特的关卡和挑战；《堡垒之夜》有一个创意模式，允许用户建立属于自己的世界和角色；Far Cry 5 的街机模式包括由社区成员创建的自定义游戏关卡。与 MOD 不同，游戏中的 UGC 通常只需要基础的专业知识，并且通常由游戏的设计机制作为支持。早在 2012 年，用户就已经开始讨论了。从游戏到平台 UGC 是新游戏的一个强大杠杆，有两个核心功能。首先，他们延长了用户参与游戏的时间。具有渐进式故事情节的线性游戏玩法虽然有趣，但在故事结束之后玩家就没有动力继续游戏了。与此不同的是，在线模式，比如 GTA 5 中的模式，延长了游戏的寿命和盈利能力。这就是为什么 Rockstar 开发的的 GTA 5 是有史以来最赚钱的娱乐产品，它在全球的销售额超过了 60 亿美元。其次，它允许游戏中最活跃的贡献者继续投资。当玩家在数字王国内建立独特的世界之后，他们就会对这个游戏产生情感依恋。随着游戏成为创意表达的新渠道，游戏玩家从其他玩家那里得到的正向反馈将作为他们努力的肯定。本质上，用户原创内容的发展将帮助游戏内的一部分用户从被动的参与者转变为主动的创作者。大多数游戏都曾设计过引人入胜的故事情节（如《刺客信条》或《使命召唤》），并最终过渡到 UGC 阶段。最近，像《堡垒之夜》这样的游戏已经体现出一种模式，即用户很少参与战斗，他们更愿意参与定制内容。大型多人游戏所带来的随机性成功吸引了很多用户，他们喜爱体验游戏中各种不可预测的玩法。每个游戏环节都有不同的内容，这就形成了一个有效的反馈回路，用户会因为对这些神秘内容的期待而更多地参与游戏。 Minecraft 和 Roblox 是这一准则的例外；它们已经超越了平台的范畴。一个已经成为平台的游戏通常有相对较少的 IP，并且可以有流动的故事情节，这都取决于谁在构建它。在这些游戏中，用户在原创游戏体验上花费的时间比游戏工作室开发的故事情节或关卡要多。《堡垒之夜》正处于向平台过渡的特殊时期。据报道，现在用户在游戏中大约有一半的时间是在与 UGC 互动。随着时间的推移，过渡成为一个平台是大多数游戏的圣杯，并以独特的方式开辟了变现途径。例如，《堡垒之夜》在过去几年中与 100 多个品牌进行了合作。此外，成为了 UGC 平台的游戏能够将用户手中的一部分收益转至创作者。 2021 年，Roblox 有超过 170 万独立用户在平台上创作内容。其中，超过 8600 人的收入超过 1000 美元。此外，约有 74 名开发者每人净收入超过 100 万美元。不过，收入的增长只是一方面，更重要的是游戏在过渡为平台之后可以吸引来更多的关注及参与。2021 年，Roblox 的用户平均在 Roblox 上感受了 40 次不同的体验。同年，该游戏上线了超过 1900 种游戏体验，在某一年产生了至少一百万小时的参与。其中，超过 350 种游戏体验产生了 1000 万小时以上的参与。Roblox 成年用户中有一半会进行交易，每 10 人中就有 1 人参与过超过单次 100 美元的交易。他们已经从独立的媒体消费商品（如电视节目）变成了用户来创造大部分体验的平台。用户原创内容所面临的挑战对于希望发展成为交易平台的游戏来说，UGC 是一个强大的杠杆。但是，它可能并不总会像预期的那样发挥作用。即使是 Steam 这样的大型游戏市场，也难以维持足够长时间的创作者奖金。2015 年，早在 NFT 或版税出现之前，Steam 就有一个创作者工作室部门，为几款游戏的 MOD、皮肤等创作者支付了超过 5000 万美元的费用。当时只有 25% 的版税支付给了创作者。该计划在四个月后不得不关闭，理由是「意外的用户行为」。 Roblox 和 Fortnite 是创造全新作品形式的强大平台。在十几二十年前，游戏玩家几乎很难将自己的时间和技能转化为收入。而今天，开发者在 Roblox 上每花一美元，平均能赚到 0.29 美元。也许这看起来很低，但《堡垒之夜》的创作者只赚取他们为该平台创造收入的 5%。来自 Roblox 的developer economics页面这并不是说这些作品背后的游戏工作室在偷窃创作者的成果，他们需要为维护游戏、支付开发费用以及来自 Xbox、苹果或谷歌的平台费用投入大笔的资金。在大多数情况下，用户很高兴看到他们的努力能创造收益。在用户看来，他们最反感的是支付所需的门槛限制。例如，由于交易成本较高，《堡垒之夜》需要 100 美元的最低限额。嵌入 Web3 原生钱包并使用 Stripe 等工具以 USDC 进行支付，可以将支付门槛降低一小部分。等式的另一部分是今天版权的执行机制。我们很难自动验证并审查哪个用户首先创造了某个体验。人工干预或许可以帮助解决这类问题，但可能需要数周的时间。此外，游戏平台还可能会面临侵犯版权的风险。最近，Roblox 为音乐版权侵权支付了 2 亿美元的和解费。此后，他们与几个大型工作室开展了合作，从而在游戏体验中嵌入已知的曲目而不至于侵权。你可能想知道为什么我们在一个陌生的游戏中如此关心版权和支付问题，这是因为这些虚拟世界在未来就是创作者的工作场所。仅在 2021 年，Roblox 就向平台上的创作者支付了超过 5 亿美金。与 OnlyFans 同年向其平台上的创作者支付的 16 亿美元相差甚远。但这表明，开发、培育和维护游戏体验可能是未来的一种就业形式。如果是这样的话，那么支付导轨和版权管理必须由不涉及人为干预的工具来完成。而具有讽刺意味的是，我们今天在区块链生态系统中谈到的许多原语都适用于此。游戏的过度金融化几周前，我向 Tegro 的创始人 Siddharth Menon 提问说，哪款游戏是 Web3 中最「有趣」的游戏。他回答说，用户来 Web3 游戏并不仅仅是为了获得乐趣，还有一半的原因是为了赚钱。「对我来说，能够提供乐趣的游戏机制是一个已解决的问题。它并不是什么新鲜产物，而且已经发展了很多年。然而，web3 游戏对我们提出了一个新的问题，于是我们必须设计出一款融合有开放经济（有着适当经济激励）和乐趣的游戏。游戏不仅需要为玩家设计，还需要为投资者和交易者设计。——Siddharth Menon 这就是为什么 Web3 游戏在传统游戏玩家看来是颇有争议的行业。如今，这个行业俨然是为投机者而非玩家而建立的。我曾经在我那篇关于聚集理论与 Web3 的文章中提到过出现这种情况的原因。相较于传统的基础设施，Web3 极大地简化了用户的归类和支付验证比传统的基础设施要简单得多。例如，假设你必须向一千名 Delaware LLC 的用户支付 100 美元，前者就会方便很多。吸引用户加入，收集他们的银行信息，进行必要的反洗钱/了解客户的检查，以及管理付款的任务都是你们的职责所在。如果这个过程是使用区块链上的稳定币进行的，那么风险将被转移到受严格监管的第三方实体（如交易所），而你将无需再自己履行这些责任。这在 UGC 中尤其重要，因为你将实现两大改变。一方面，作为一个平台，你可以使用游戏内资产来奖励那些在早期阶段积极贡献的用户。另一方面，你可以为这些资产开辟一个市场，让用户可以将他们辛苦赚来的游戏内资产变现。在这些新的交易方式中，工作室将不再需要支付大量成本来激励创作者。Amy Wu 在最近的一次谈话中很好地解释了这种现象：在维护游戏的过程中，内容的重复性是最大的挑战之一。UGC，再加上 Token 激励和流动市场，是吸引新一代创作者的重要工具，否则他们根本就不会去关注 Web3 游戏。在生成性内容和包括 Token 在内的创作者激励措施方面的进展都尚处于早期阶段，极具前景——Amy Wu 理想的情况是，那些花时间玩游戏或创造游戏体验的用户会与那些没有时间或技术来玩游戏的用户交换他们收到的资产。我对这一点持怀疑态度，所以我们联系了来自Super Gaming（印度最大的游戏工作室之一）的Roby John来就这一观点发表看法：用户之间的交易并是什么新鲜产物。当我在开发的游戏中帮助部落首领将某些顶级部落玩家拥有的物品交易并转移给他们部落的其他初级玩家时，我就注意到了这一点。一直以来我都没有完全弄清楚这件事，而在我弄明白其中的逻辑之后，我在 2017 年将其变成了 MaskGun 本身的一项功能。今天，区块链驱动的所有权可以更容易地做到这一点，而不需要客户支持或工具的干预。当然，这剥夺了我作为客户支持人员在游戏战争之前在部落之间交易虚拟 AK-47 和 SCAR-H 的兴奋感。在没有基础设施让玩家之间进行交易的情况下，Roby 不得不自己促成一些交易，他的私信当中全是下图这样的消息。我们正处于移动游戏资产的 Craigslist 时代。在这种情况下，我们需要考虑两个主要因素：首先是盈利动机，它在很大程度上影响了用户的行为，并激励他们更多地参与到游戏及其体验中。然而，这可能会让游戏工作室付出代价，他们可能不会因此而看到即时的收入。在过去，当用户直接从他们那里购买资产时，开发商就会挣钱。现在，由于留存率的提高和获客成本的降低，这种情况已经改变。其次，由于游戏玩家之间会进行数字资产交易，游戏工作室可能会赚取更多的版税，而不是在用户直接从工作室购买资产时赚取即时收入。例如，Yuga Labs 和 Nike 通过用户群的资产交易各自获得了超过 1 亿美元的版税收入。 Axie Infinity 这样的游戏是尝试替代模式的先锋，而像 Epic 和 Ubisoft 这样的大型工作室则犹豫不决，不愿意用不同的模式破坏掉现有的用户群，这为新进入者创造了颠覆现有工作室的机会。版税并不是游戏最近发现的一个突破性功能，现今的技术堆栈可以很容易地使更多的开发者在用户每次交易应用内资产时赚取一部分收入。然而，它的独特之处在于这些链上原语与复杂的金融原语生态系统存在着相似性。今天，大多数新的 Web3 游戏和 NFT 的推出，都是在 Crypto 原生人群中找到其早期用户群。这些用户习惯于在 DeFi 中存储数十亿美元，并在 NFT 上花费同样多的钱。这些用户对金融原语的熟悉度为游戏工作室创造了一个独特的机会，使它们可以利用 Web3 技术为他们的用户提供更多价值。来自Variant fund的创作者经济先驱者Li Jin，在我们与她讨论这个问题时，把这方面的情况讲述了出来：在游戏中使用 Web3 原语，不仅给创作者带来了拥有其努力成果的信心，而且还优化了他们创造财富的速度和手段。创作者经济的先驱者Li Jin表示，这可能会导致未来创作者使用带有 DeFi 原语的游戏内资产实现加速增长，例如将收入流 Token 化，针对定制艺术进行贷款，甚至筹集投资——Li Jin 用户被新的 Web3 原语所吸引，不单单是因为其趣味性，还是为了赚取收入。他们愿意为跨链的资产搭桥，参与秘密仪式，并加入到新项目中。伴随着他们收入的增加，他们开始关注如何利用无需权限资产来增加利润。用户用游戏中的 NFT 进行贷款，发行衍生工具来炒作其价格，并成立 DAO，以大额折扣收购游戏中的资产。这些行为通常不是游戏开发者所预期的或想要鼓励的行为。虽然开发者可能不希望游戏内资产的价格因 NFT 借贷平台的清算级数而崩溃，但在区块链上建立无许可和可组合的工具有好处也有风险，我们很难预测结果是好是坏。我们咨询了世界上最大的游戏公会之一 YGG 的 Gabby Dizon，以探讨这些想法：在无权限资产之上建立用户原创内容，大大改善了现有的 UGC 模式。它不仅允许玩家社区创造新的内容，还能以原始游戏开发者之前从未想过的方式复合网络效应。它还为制作 UGC 的创作者提供了更公平的价值转移和所有权获取方式。简单来说，用户以往只能在受限环境中进行特定的行为，而如今却有机会获得对产品本身更多的控制权，但这样一来他们就可能会做出不可预料的行为——你只能在二者之间进行权衡。这类似于 DAO 的工作模式，不过更有意思一些。引导 UGC 经济发展向 UGC 平台过渡的 Web3 原生游戏通常遵循类似的发展路径： · 所有游戏一开始都会推出一个足以吸引数千名用户的主要产品。 · 一旦有足够的用户在玩游戏，下一步就是引入稀缺的资产，这些资产只有通过长时间玩游戏才能获得。这些工具通常会给他们的持有者在赚取积分或赢得比赛方面带来一点优势。 · 不想花时间玩游戏的交易员和玩家可以以自由市场决定的价格获得这些工具。 · 在这个阶段，游戏被激励推出他们的游戏内市场，以阻止诈骗者并为用户提供一个安全的交易环境。 · 如果市场有足够的流动性，而且交易是有序发生的，开发者可以引入像 Robux 或 Fortnite 的 V-bucks 这样的原生资产，其经济效益将因游戏而异，但可以用来激励用户在游戏中产生内容。但为什么要费尽心思用链上工具奖励用户，让他们可以进行交易或贷款？将资产所有权传递给用户有两个好处。首先，它允许用户想象并创造出资产的新用途，超出开发者最初的意图，如建立一个借贷市场或创建一个游戏中的 DAO。用链上工具奖励用户的第二个原因是，它有助于在发布用户原创内容之前确定游戏中资产的公平价值。通过事先实施，它减少了平台被专门为接收空投而设计的垃圾体验所淹没的可能性。这一挑战目前在 DeFi 和 NFT 原生产品中普遍存在，使创始人无法确定其用户群的实际规模，因为大多数用户可能只是为了获得空投而使用产品。虚拟土地的价格已经明显下降，但 Decentraland 的表现仍然优于其同行（见 Metaland 的 Dune 页面） Sandbox 和 Decentraland 处于 Crypto 领域 UGC 的最前沿。他们用原生 Token 激励创作者，并为交易者和创作者提供了一个合作的平台。但他们忽略了这样一个事实：除非你有足够大的用户群对使用产品的乐趣感兴趣，否则生态系统很难持续下去。交易者通常购买地块或开发体验，以期待获得未来的利润。但就像中国的鬼城一样，除非有真正的人期待在这些虚拟世界中度过时光，否则这些资产的价格很快就会崩溃。如果 UGC 在建立时注重游戏者的动机建设，那么它们很可能会更强大。Web3 原生游戏如果能在盈利方面得到补偿，那么它减少一些乐趣也无可厚非。我们在 P2E 经济中看到的大部分用户都是为了它所产生的额外收入而来。像这样的用户可能会有一个进化的弧线。随着时间的推移，用户将赚到足够的钱来购买游戏中的资产并进行交易。有了足够的利润，游戏者可以把资产租给其他玩家，类似于公会模式。在他的巅峰时期（就对游戏的商业价值而言）——玩家将有足够的技能来建立独特的游戏体验，围绕它形成并一个社区，从而获得被动收入。玩家大多数 Web 3 原生工作室目前都错过了游戏玩家的发展，他们从赚取与游戏时间直接相关的收入发展到积极创造和管理游戏体验。我们经常认为 DeFi、DAO 和 NFT 中的原语对普通人来说没有价值。为了实现这些原语的价值，它们应该被整合到游戏中，并吸引来大量的用户群体。一个有潜力的游戏创造者可以通过建立 DAO 从他们的同行那里筹集资金，而贡献者可以获得体验的收益份额。这类似于传统开发商收购和开发财产的方式，我们可能会看到一些工作室专门在 Sandbox 这样的 Web 3 原生虚拟世界中创造经验。这在今天看来可能很牵强，但考虑到 2021 年有超过 70 名开发者在 Roblox 上赚取了一百万美元以上（还有 7 个超过 1000 万美元），一切都有可能。随着围绕着 Web 3 原生 UGC 的生态系统的发展，我们将见证对链上最活跃的钱包进行定向营销。这将有利于试图扩大规模的游戏为那些在不同游戏中建立了良好体验的创作者提供折扣属性和类似的激励措施。就像民族国家为企业家提供激励措施一样，游戏和协议也会通过游戏中的互动来锁定那些最活跃的钱包。创造力上的鸿沟目前，大多数 Web 3 游戏的重点是交易而不是创造力。为了吸引更多的用户，我们需要向培养创造性的表达方式转变。社交网络大约在十年前就实现了这种转变，并使其成为了更令人愉悦的消遣场所。 Web 3 游戏平台在做到这一点后也可以实现同样的效果。随着创作者收入的增多，他们变得不再关注资本，而更关注自己的影响力。对这些人来说，创造性的表达成为首要任务。这虽然听起来不太现实，但考虑到就在去年，一个用户从《堡垒之夜》的创作者支持计划中获得了 500 万美元。更令人惊讶的是，这个用户为游戏创造了超过 1 亿美元的收入。考虑到像 Z 世代和千禧一代这样的年轻一代往往难以负担像房地产这样的传统资产。而且以我们现在的技术，还不可能开发太空资产，我们的所有权和价值感往往存在于数字资产当中。将纽约的实体房屋与 Decentraland 的虚拟财产相比较并不公平。然而，那些早期进入数字领域的人有可能获得可观的利润，在未来十年更是如此。与以前不同，互联网允许我们公平地获得机会。然而，我们已经看到一些新事物，如 ICO 和 NFT，正在榨取散户的资产。在游戏行业，仅仅作为早期采用者并不足以获益。创作者需要建立用户想要的东西，以防止数字鬼城的出现。大多数游戏的挑战是平衡社区和盈利动机之间的关系。「资产所有者」的盈利动机会可能导致非常糟糕的决策，正如我们在协议和 DeFi 原语中看到的那样——这也是我们之所以要循序渐进的在游戏中引入 UGC 的部分原因。同时，一个有粘性的社区对于一个可持续的市场来说十分重要。监管机构需要认识到游戏是工作渠道而不仅仅是为了娱乐，也许未来我们可能会看到游戏中形成创作者联盟。投资者可能将游戏中的体验视为 SaaS 产品。最后，最关键的在于，创作者也需要了解如何使用他们新发现的「所有权」。这让我们回忆起我们在 2016 年是如何思考人们可以怎样利用智能合约。我们将给你们留下这个基于印度未来主义的有趣游戏的预告片，我们已经关注了一段时间了，它可能与我们刚才写的内容有一定的关联。下周见，我们将对过去两个季度的风险投资的演变情况进行分析。来源：金色财经

金色财经2023-02-27

科大讯飞：本次ChatGPT浪潮让我们看到中国和美国在人工智能领域的综合差距

与应用落地，感谢建议。投资者：公司在大众用户层面表现一直不尽如人意，公司是否有控股类似于汤姆猫这种低市值高用户量的优质IP企业的意向？科大讯飞董秘：您好，高科技产业从核心技术研究到产品落地并实现规模化应用有其客观规律，公司将踏踏实实按照产业发展规律有序推进技术进步与应用落地，感谢建议。科大讯飞2022三季报显示，公司主营收入126.61亿元，同比上升16.5%；归母净利润4.2亿元，同比下降42.34%；扣非净利润4.27亿元，同比下降17.04%；其中2022年第三季度，公司单季度主营收入46.38亿元，同比上升1.95%；单季度归母净利润1.42亿元，同比下降54.17%；单季度扣非净利润1.48亿元，同比下降51.54%；负债率46.28%，投资收益302.62万元，财务费用-6163.24万元，毛利率40.18%。该股最近90天内共有20家机构给出评级，买入评级19家，增持评级1家；过去90天内机构目标均价为54.36。近3个月融资净流入5.68亿，融资余额增加；融券净流入4.08亿，融券余额增加。根据近五年财报数据，证券之星估值分析工具显示，科大讯飞（002230）行业内竞争力的护城河良好，盈利能力一般，营收成长性良好。财务相对健康，须关注的财务指标包括：应收账款/利润率。该股好公司指标3.5星，好价格指标2星，综合指标2.5星。（指标仅供参考，指标范围：0 ~ 5星，最高5星）科大讯飞（002230）主营业务：语音支撑软件、行业应用产品/系统、信息工程和运维服务等。以上内容由证券之星根据公开信息整理，与本站立场无关。证券之星力求但不保证该信息（包括但不限于文字、视频、音频、数据及图表）全部或者部分内容的的准确性、完整性、有效性、及时性等，如存在问题请联系我们。本文为数据整理，不对您构成任何投资建议，投资有风险，请谨慎决策。

证券之星2023-02-26

打击犯罪入门科普（4）丨平均涉案金额近千万元这些您需要了解

虚拟币市场的规模正在逐渐扩大，越来越为大众所知，虚拟币的应用场景也正在逐渐扩大，除了可以用于金融领域之外，虚拟币还可以用于游戏、社交媒体、艺术品等领域，并已对世界产生了诸多影响，包括：金融系统改变、犯罪形式变化、环境保护问题等等。在犯罪形式变化方面，SAFEIS安全研究院发布的《2022年涉虚拟币犯罪趋势研究报告》中进行了重点阐述：“2022年以来各类虚拟货币犯罪案件频发，案件类型也趋于多样化、复合化。非法经营、传销、诈骗等类型案件中越来越多地出现了虚拟货币的身影，‘虚拟货币只是犯罪活动的一种补充形式’和‘虚拟货币是法币犯罪行为的依附’这样的理解已经稍显不足，从预防和侦办的角度来看存在偏差。”这对国内执法人员有效打击犯罪、执法和监管形成新挑战。在这样的新型挑战之下，SAFEIS安全研究院即将重磅上线《打击虚拟货币犯罪——初阶课程27讲》，为大家带来了一系列有关打击虚拟货币犯罪干货。在完整课程正式上线前，我们先学习一些区块链基础知识点。（注：预约完整课程，可下拉本文，添加客服“安小士”，回复“课程”，获取先导权益）本期内容，我们将带大家了解：如何理解虚拟币及涉及的犯罪情况，以及在虚拟币中涉及的相关名词的解读。虚拟币虚拟币的概念虚拟货币是基于区块链技术发行的，去中心化、无法律约束的一种电子凭证。可以在特定的小圈子里进行交易和购买商品和服务的货币。它具有交易媒介和记账单位的货币功能。虚拟货币既可以作为货币购买商品和服务，也可以作为投资标的在资本市场自由流通。目前也并没有任何一个国家制定明确的法律法规监管。虚拟币市场情况目前，虚拟币市场的参与者已经多达2.95亿人次，自2009年比特币诞生以来，数字货币的总市值已经增长至2.97万亿美元，其中像USDT这种稳定币的总市值也达到了1800多亿美元。涉币类犯罪的发展形势这也反应出数字货币的发展趋势，同时也启发我们要关注涉币类犯罪的发展形势。据SAFEIS安全研究院发布的《2022年涉虚拟币犯罪趋势研究报告》中的数据显示：“到2022年，案件数量达到史无前例的3855起，同比涨幅达19%。”“2022年案件数量延续上升态势，案件平均涉案金额涨幅十分惊人，2021年为364万元，2022年为904万元。数据反映了一个更加严重的问题，2022年案件平均涉案金额的快速上涨，表示着涉虚拟货币犯罪活动组织化、规模化情况日趋严重。” 这些数据均反映出虚拟币的发展趋势与日俱增，同时，未来的涉虚拟币类犯罪也会呈现爆发式增长。虚拟币币种涉币类犯罪常见的币种有稳定币，主流币，匿名币。稳定币以USDT为主，USDT也叫泰达币，1枚USDT与1美元等值。除USDT外，稳定币还有USDC，BUSD，DAI。主流币是指我们所熟知的比特币和以太坊，主流币的认可群体人数多，比较容易兑换交易。匿名币如XMR、DASH、ZEC，这些币的币价也相对稳定，因为币种的创造逻辑，高度强调匿名性，可以较好的掩盖转账交易的痕迹。加密钱包再下来就是钱包，钱包分为冷钱包和热钱包。冷钱包狭义上的冷钱包就是指断网离线存储私钥的钱包，其中又分为硬件钱包和离线钱包，硬件钱包是指离线设备存储私钥，除接收资产和转出资产外没有其他功能，通过设备签名的方式进行转账操作，它的载体多种多样。离线钱包是指使用断网的电子设备管理的钱包，利用冷热钱包衔接，通过扫码的形式实现授权转账功能，可以用断网手机或电脑作为载体。热钱包热钱包也分为插件钱包、APP钱包、交易所钱包。插件钱包指的是以太坊链、波长连等使用小狐狸或原生链上系统中注册使用的钱包；APP钱包指的是TP钱包、IM钱包、比特派钱包等钱包APP注册使用的钱包；交易所钱包指的是币安、火币、OK等交易所内开设的账户钱包。助记词在虚拟币交易中，最重要的一块就是助记词，由于私钥是由一系列随机数字生成难以记忆又无法更改，就衍生出了“助记词”来帮助用户记忆复杂的私钥。助记词可以理解为简化版的私钥，是明文私钥的另一种表现形式。助记词一般由12、15、18、21个单词构成，这些单词都取自一个固定词库，其生成顺序也是按照一定算法而来。公钥公钥通常用于加密会话密钥、验证数字签名，或加密可以用相应的私钥解密的数据。公钥常见的有两种格式，一种是未压缩格式公钥。另一种是压缩格式公钥。引入压缩格式公钥是为了减少比特币交易的字节数，从而可以节省那些运行区块链数据库的节点磁盘空间。未压缩格式公钥使用04作为前缀，而压缩格式公钥是以02或03作为前缀。私钥私钥是一个数字，通常是随机选出来的。私钥被用于生成支付数字通证所必须的签名以证明对资金的所有权，即用户使用私钥进行签名交易，从而证明拥有该交易的输出权。该签名不可伪造，且任何人可以通过私钥对应的公钥进行签名验证。一个地址只有一个私钥且不能修改。掌握私钥，就相当于掌握了银行密码和银行卡，就是货币真正的主人。来源：金色财经

金色财经2023-02-26

Web3浪潮下EBOX集团的生态之道

如艺盒的发展方针：“始于数字经济，服务大众实体”，通过平台去赋能实体，助力实体产业的发展。在目前的区块链领域，EBOX坚定再走一条可持续发展的投资道路，这是数字经济拥抱实体经济的契机，更是普通NFT用户造富的钥匙。对于用户而言，持有了EBOX的NFT数字藏品，便是直接获得了EBOX的股份，参与整个的商业版图红利，而不是像传统的NFT二级交易，炒作暴涨暴跌的价格，失去的藏品本身的意义来源：金色财经

金色财经2023-02-26

ChatGPT：OpenAI的技术「执拗」与「豪赌」

常智能的体验感，是它突破业界小圈子，给大众带来冲击感的原因。这里还希望再次强调这种体验感的问题，因为也许过去业界由于技术的限制，为了完成场景中的特定任务而忽略了这一点。如今 ChatGPT 的出现代表了人工智能不再是过去那种「有用，但是也挺蠢」的形态了。为了更好地理解 ChatGPT 这种非常智能的感觉是怎么产生的，难免要从过去那种「很蠢」的人工智能说起。准确地说，ChatGPT 背后使用的依然是自然语言处理（NLP）技术，但却打破了原有的范式。要理解这一点，可以先看看目前的主流做法是怎样的。人类交流依托的是语言，甚至也有很多人认为人类的思维也是建立在语言上的。因此，理解运用自然语言一直是人工智能的重要课题。但语言实在太复杂，因此为了让计算机理解运用语言，通常会将这个过程拆分为很多的细分项，这就是在技术领域中常说的「任务」。举几个例子：情感分析任务，针对的是理解语言所蕴含的情感倾向；句法分析任务，针对的是分析文本的语言学结构；实体识别任务，针对的是从文本中定位出实体片段，例如地址、名字等等；实体连接任务，针对的是从文本中抽取出实体间的关系；这样的任务还有很多，都是从某个细分的侧面去对自然语言进行分析、处理。这样做有很多好处，比如有了这些拆分，就可以从不同的维度来考察一个自然语言处理系统的细分能力；也可以针对某一个细分的项专门做系统或者模型的设计等。从技术的角度来说，将一个复杂的任务（理解并运用自然语言）拆分为很多的简单任务（各种各样的 NLP 任务）确实是一种比较典型的解决复杂问题的路径，这也是目前的主流做法。然而在 ChatGPT 出现之后，以马后炮视角去看，也许在让计算机理解并运用自然语言这条路上，这种拆分并不是最有效的途径。因为在单个任务上的优秀表现，并不能代表系统就掌握了自然语言。人对于人工智能体的「智能感」，是基于对它应用自然语言的整体能力而产生的，这一点在 ChatGPT 上有明显的体现。虽然 OpenAI 没有开放 ChatGPT 的 API 服务，外界还无法测评它在各个细分 NLP 任务上的具体效果，但以过往外界对它的前身 GPT-3、InstructGPT 等模型的测试情况表明，对于某些特定的任务，一个用专门数据精调过的小模型，确实可以获得更好的效果（详细分析请参考《深入理解语言模型的突现能力》）。但这些在单个任务上有更好表现的小模型，并没有引起很大的出圈效应。归根结底，是因为它们只有单一的能力。单个的能力出众并不能代表它们具有了理解和运用自然语言的能力，从而也无法独自在实际应用场景中发挥作用。正因如此，通常在一个真实的应用场景中，都是多个具有单点能力的模块经过人为的设计拼凑而成，这种人为的拼凑方式是过去的人工智能系统让人感觉并不智能的原因之一。从人类理解和运用自然语言的视角去看，这个现象其实很好理解。普通人在理解、运用自然语言的时候，并不会在脑内将它拆分为很多步不同的任务，逐个任务进行分析，然后再汇总，这不是人类使用自然语言的方式。就好比一个人，在听到一句话的时候，并不会对它的句法结构、实体内容与关系、情感倾向等这些内容逐一分析，然后拼凑出这句话的含义，人对语言的理解过程是一个整体过程。再进一步，人对这句话的整体理解，会以自然语言的形式，通过回复的方式整体地表现出来。这个过程并不是像人工智能系统那样，拆分单个任务，然后逐一输出情感分析的标签、实体信息的片段、或是别的某个单个任务的结果，然后用这些东西拼凑出回复。而以 ChatGPT 为代表，GPT 系列模型所做的事情才真正接近了人类理解和运用语言的能力 —— 直接接收自然语言，然后直接回复自然语言，并保证了语言的流畅性与逻辑性。这是人与人的交流方式，所以大家对它抱以「很智能」的体验感。也许很多人会认为，如果能做到 ChatGPT 这样当然很好，过去那种对任务的拆分是因为技术的限制不得已而为之。从技术应用的视角来看，这样迂回的方式当然是需要的，这种方法也在很长的一段时间内被采用，并且确实也能够解决很多实际场景中的问题。但如果回顾 GPT 系列模型的发展过程，就会发现 OpenAI「赌」了另一条路，并且他们「赌」赢了。 2、OpenAI 的「赌局」 GPT 初代，一切开始的地方早在 2018 年，OpenAI 就发布了最初版本的 GPT 模型，从 OpenAI 公开的论文（Improving Language Understanding by Generative Pre-Training）可以了解到，这个模型采用了 12 层的 Transformer Decoder 结构，用了大约 5GB 的无监督文本数据进行语言模型任务的训练。虽然初代 GPT 模型采用的就已经是生成式的预训练（这也是 GPT 名字的由来，Generative Pre-Training，即生成式预训练），但使用的是无监督预训练 + 下游任务微调的范式。这一范式其实并不是什么新的发明，它在 CV（计算机视觉）领域已经有比较广泛的应用，只是由于当年 ELMo 模型的出色表现，把它重新「介绍」到了 NLP 领域。 GPT 模型的出现在那一年确实引来了一些业内的关注，但它并不是那一年的 C 位主角。因为就在同年，Google 的 BERT 模型横空出世，以优异的效果吸引了几乎全部的目光（这个景象有点像现在的 ChatGPT，不禁感叹 Google 和 OpenAI 之间的「恩恩怨怨」真是天道好轮回）。图片来自 BERT 论文，从图示中可以一窥当年 BERT 对标的就是 GPT，并引以为傲地指出双向编码能力。 BERT 模型虽然也是采用和 GPT 一样的 Transformer 模型结构，但它几乎就是为「无监督预训练 + 下游任务微调」的范式量身定制的模型。和 GPT 相比，BERT 所使用的掩码语言模型任务（Masked Language Model）虽然让它失去了直接生成文本的能力，但换来的是双向编码的能力，这让模型拥有了更强的文本编码性能，直接的体现则是下游任务效果的大幅提升。而 GPT 为了保留生成文本的能力，只能采用单向编码。以当年的眼光来看，BERT 绝对是一个更加优秀的模型。因为既然 BERT 和 GPT 两者都是采用「预训练 + 微调」的范式，并且下游任务依然是分类、匹配、序列标注等等「经典」的 NLP 任务形式，那么像 BERT 模型这种更注重特征编码的质量，下游任务选一个合适的损失函数去配合任务做微调，显然比 GPT 这种以文本生成方式去「迂回地」完成这些任务更加直接。从 BERT 模型出来以后，「无监督训练 + 下游任务微调」的范式便奠定了它的霸主地位，各类沿着 BERT 的思路，琢磨「如何获得更好的文本特征编码」的方法大量涌现，以至于 GPT 这个以生成式任务为目标的模型显得像一个「异类」。马后炮地说，如果当时 OpenAI「顺应大势」，放弃生成式预训练这条路，也许我们要等更长的时间才能见到 ChatGPT 这样的模型。 GPT-2 带来的希望当然，我们现在见到了 ChatGPT，所以 OpenAI 没有放弃生成式预训练的路线。实际上坚持的「回报」隐约出现在了第二年，也就是 2019 年。OpenAI 发布了有 48 层 Transformer 结构的 GPT-2 模型。在发布的论文（Language Models are Unsupervised Multitask Learners）中，他们发现通过无监督数据配合生成式训练后，GPT 展示出了零样本（zero-shot）的多任务能力。而奇妙的是，这些多任务的能力并不是显式地、人为地加入到训练数据中的。用通俗的话来举个例子，GPT-2 其中一个展示出来的能力是做翻译，但令人吃惊的是，通常专门用来做翻译的模型是需要大量的平行语料（即两种不同语种之间配对的数据）进行监督训练，但 GPT-2 并没有使用这种数据，而仅仅是在大量的语料上进行生成式的训练，然后它就「突然」会做翻译了。这个发现或多或少地带有点颠覆性的意味，它向人们展示了三个重要的现象：想让模型去完成一种 NLP 任务，也许并不需要和任务匹配的标注数据。例如 GPT-2 训练时没有用标注的翻译数据，但它会做翻译；想让模型去完成一种 NLP 任务，也许并不需要和任务匹配的训练目标。例如 GPT-2 训练的时候并没有设计翻译任务和相关的损失函数，它只是在做语言模型任务。仅仅用语言模型任务（即生成式任务）训练的模型，也可以具有多任务的能力。例如 GPT-2 展现出了翻译、问答、阅读理解等等的能力。虽然以现在的眼光来看，当时的 GPT-2 所展示出来的各种能力还比较初级，效果距离使用监督数据微调后的一些其它模型还有明显的差距，但这并没有妨碍 OpenAI 对它所蕴含的潜在能力充满期待，以至于在论文摘要中的最后一句话中，他们提出了对 GPT 系列模型未来的期望： “These findings suggest a promising path towards building language processing systems which learn to perform tasks from their naturally occurring demonstrations.” 后来一系列事情的发展也证明了他们确实是一直朝着这个 promising path 的方向在前进。如果说在 2018 年，GPT 初代模型出来的时候，GPT 的生成式预训练还面临着被 BERT 这类以「提取特征」为目地的预训练模型在各方面碾压，那么在 GPT-2 中的发现，给了生成式预训练一个 BERT 类模型无法替代的潜在优势，即语言模型任务所带来的多任务能力，且这种多任务能力是无需标注数据的。当然，在那个时间点上，生成式的技术路径依然面临风险和挑战。毕竟当时的 GPT-2 在各任务上的表现还是差于经过微调的模型，这导致了 GPT-2 虽然有着翻译、摘要等等能力，但效果太差以至于无法实际使用。因此，如果在当时想要一个可用的翻译模型，最好的选择依然是老老实实用标注数据训练一个专门用来翻译的模型。 GPT-3，数据飞轮的开始从 ChatGPT 时代往回看，也许 OpenAI 在 GPT-2 中的发现确实坚定了他们对 GPT 系列模型的信心，并决定加大研发投入力度。因为在随后的 2020 年他们发布了 1750 亿参数量的 GPT-3，一个即便以现在的眼光去看也大得让人惊叹的模型。虽然 OpenAI 没有明确公开训练这个模型的费用，但大家的估算是当时花了 1200 万美元。同时公开的还有一篇长达 60 多页的论文（Language Models are Few-Shot Learners），其中详细阐述了这个新的庞然巨物所展示出来的新能力。最重要的发现莫过于论文标题中所说的，语言模型具有小样本（few-shot）学习的能力。小样本学习是一个机器学习领域的专业术语，但它有着很朴素的理念，即「人类是可以通过少量的几个例子就学会一个新的语言任务」。想象一下在语文课上学习怎么掌握「把」字句换成「被」字句样（雨把衣服淋湿了 —— 衣服被雨淋湿了）的情形，老师会给出几个例子，同学们就能够掌握这项能力。但对于深度学习模型来说，它通常需要学习（训练）成千上万的例子才能掌握一项新的能力，但大家发现 GPT-3 却像人类一样具有类似的能力。而且重点在于，只需要给它展示几个例子，它就会「有样学样」地完成例子给出的任务，而不需要进行额外的训练（即不需要进行常规训练中的梯度反传和参数更新）。后来的研究表明，这种能力是巨型模型所特有的，被业内叫做「在上下文中学习」（in context learning）的能力。 GPT-3 论文中所展示的英语翻译法语的 In context learning 能力。实际上，小样本学习能力本身并不是很惊人的发现。毕竟业内一直都在对小样本学习进行研究，很多专攻小样本学习的模型都有出色的小样本学习能力。但 GPT-3 展示出来的这种「在上下文中学习」的小样本能力却非常出人意料，其原因也和 GPT-2 所展示的多任务能力一样： GPT-3 并没有为了获得小样本的能力而在训练数据、训练方式上做特别的设计，它依然只是一个用语言模型任务训练的生成式模型； GPT-3 的小样本能力是以「在上下文中学习」的方式展现出来的。换句话说，想让它获得新的能力，不需要对它再训练，而只需要给它看几个示范的例子。除了这个能力以外，GPT-3 还展示出了优秀的文本生成能力，相比 GPT-2，它生成的内容更加流畅，而且可以生成很长的内容。这些能力综合体现在一个模型上，让 GPT-3 在当时成为了大家的关注焦点，它也成为 OpenAI 正式对外提供服务的模型。但随着这个模型服务的开放，越来越多的人尝试使用这个模型。从这时起，OpenAI 通过开放给公众的方式，同时也在收集着更具有多样性的数据（用户使用时输入的内容可能会被用于模型的训练，这一点是写在用户条款中的），这些数据在后来的模型迭代中也发挥着重要的作用。自此 GPT 系列模型的数据飞轮便转动了起来，越多优质的用户数据，迭代出效果越好的模型。与 ChatGPT 不同的是，GTP-3 并不是采用对话的形式交互的模型，而是一个文本的续写模型（也就是在你输入的文字后面接着往下写），因此它并不具备如今的 ChatGPT 所拥有的多轮对话能力。但它已经能够干很多的事情，例如编写故事、给邮件做自动补全等等。但同时，大家也慢慢发现了一些问题，例如它会一本正经地输出不符合事实的内容，并且会输出一些有害的言论等等。这是这种文本生成模型最突出的弊端，虽然经过多次迭代，但 ChatGPT 如今也依然面临类似的问题。 CodeX，让计算机自己写代码 OpenAI 在对 GPT-3 的研究中还有一个意外的发现，它能够根据一些注释生成很简单的代码。因此在随后的 2021 年，他们对生成代码这件事情进行了专门的研究投入，并发布了 CodeX 模型。它可以看作是一个有着代码专精能力的 GPT 模型，能够根据自然语言输入生成比较复杂的代码。从外部视角来看，我们无法判断代码生成的研究与 GPT 系列模型的研发是否在同时进行。但放在当时，让模型具有生成代码的能力，从实用化的角度来说确实更加具有意义，毕竟 GPT-3 还未拥有如今 ChatGPT 这般强悍的能力。另一方面，让模型去生成代码也能规避它生成有危害文本内容带来的风险。在 CodeX 论文中提及了几个要点，首先是让经过文本数据预训练的 GPT 模型在专门的代码数据（数据来自 github 的开源代码，一共 159G）上训练确实能够明显提升模型对代码的理解和输出能力。其次是论文中用的是一个 120 亿参数的「小」模型，这个信息从侧面反映出 OpenAI 内部除了对外开放接口的 1750 亿参数的 GPT-3 模型外，还有别的不同大小的模型版本。而加入代码训练，让模型获得理解和生成代码的决定，原本的初衷也许只是希望 GPT 能够多一种应用场景。它看似与 GPT 系列模型在理解和运用自然语言的能力没有太大的联系，但根据后续的研究（详细的分析请参考文章《拆解追溯 GPT-3.5 各项能力的起源》），增加对代码数据的训练很有可能触发了后来的 GPT 模型在自然语言上的复杂推理和思维链的能力。也许在 OpenAI 做 CodeX 之初并没有预料到会有这样的结果，但就像他们一直使用文本生成任务来做 GPT 模型，然后在 GPT-2 和 GPT-3 中「解锁」了「多任务的能力」和「在上下文中学习的能力」那样，代码数据的引入又一次让他们获得了意料之外的收获。虽然看上去似乎有一些偶然，但对技术路线的前瞻性认知，加上坚持与持续的投入显然是一个至关重要的因素。 InstructGPT，让 GPT 好好说话在前面我们提到了 GPT-3 虽然已经有很强的能力，但上线以后随着使用的人越来越多，也发现了很多问题，最严重的应该要数「一本正经地胡说八道」和「输出带有危害性的内容」这两点了。虽然在 2021 年 OpenAI 似乎暂时将重点放在了让模型理解和生成代码这件事情上，但他们应该一直在尝试解决 GPT-3 的这些问题。在 2022 年初，OpenAI 发表了 InstructGPT 的论文（Training language models to follow instructions with human feedback），从中我们可以一窥解决这些问题的方法。论文的核心理念是让模型接受人类的教导（反馈），这一点在标题中就已经开宗明义了。 GPT-3 之所以会出现「一本正经地胡说八道」和「输出有害的内容」这样的问题，其根源来自于它所使用的训练数据。像 GPT-3 这样的庞然大物，对数据的需求量是海量的。我们从 GPT-3 的论文中可以找到它的数据来源，大致可以划分为三类：网页内容、百科内容以及书籍。虽然网页内容的量非常大，但也非常「脏、乱、差」，自然会包含很多非真实性和有害的内容。GPT-3 在这些数据上进行训练，自然也就学到了这些东西。但作为一款对外提供服务的产品，GPT-3 的回答应该更小心一些。要解决这个问题，其中的一难点在于怎么去定义模型应该怎么说话。因为生成模型的输出内容是自然语言本身，而不是一个分类的标签或一个实体名词这种有明确的、客观对错的内容。没有明确的对错，就导致无法像训练经典的 NLP 模型那样直接针对目标设计训练任务。而 InstructGPT 给出的解决思路是非常直接的，既然对于「好的回答」这个评价指标有很多不同的影响因素，这些因素又相互交织在一起，那就让人来教它怎么写回答。因为人类是比较善于处理这种「既有明确的要求，又有模糊的范围」的问题的，让真人写一些「优秀范例」，让模型去学习这些「优秀范例」，这正是 InstructGPT 提出的总体思路。具体而言，InstructGPT 提出了两个阶段的路径来让 GPT 学习人类给出的「优秀范例」，第一阶段是监督学习，第二阶段是强化学习。在第一阶段中（对应下图中最左边的 Step 1），让真人根据不同的 Prompt（粗浅可以认为是我们使用 ChatGPT 时，在对话框里输入的那条文本，在业界这个东西叫做指令）写真实的、无害的、有用的回答。实际操作过程中，为了保证这些内容的质量，会给写回答的标注人员一些规范性的指引，然后让已经经过预训练的 GPT 模型在这些人类编辑的数据上继续训练。这一阶段可以看作是对模型的一种「规训」，用一个不严谨的类比来说，就像语文老师让你默写优秀范文那样。图片来自 InstructGPT 论文，提出通过监督式的指令微调 + 人类反馈的强化学习来让模型的输出变得合理。第二阶段是强化学习，技术上分为两步。第一步（对应上图中间的 Step 2）是让被「规训」后的模型根据不同的 Prompt 生成多个不同的回答，并由人来给这些回答按照好与差的标准来排序。然后用这些标注了优劣之分的数据训练一个打分模型，让它可以自动给更多的数据进行排序打分。强化学习阶段的第二步（对应上图中右边的 Step 3）就是利用这个打分模型作为强化学习中的环境反馈，以策略梯度（Policy Gradient，准确地说是 PPO 算法）的方式对已经「规训」后的 GPT 模型进行训练。整个第二阶段的过程可以看作是对模型的一种「强化」，再用一个不严谨的类比来说，就像语文老师给你写的作文打分，让你从分数中分辨什么是好与不好，然后不断进步。因此，用一种非常不严谨，但普通人或许也能够理解的方式来说，InstructGPT 先是让一个「口无遮拦」的 GPT 通过「默写人类的优秀范文」的方式初步学会「好好说话」，然后再「给它独自写出来的东西打个分，让它回去好好领悟，继续进步」。当然，在技术上牵涉事情会更复杂一些，比如「优秀范文」的具体规范和数量等数据上的问题，以及强化学习中打分模型的选择，算法参数的设置等算法上的问题，都会对最后的效果产生影响。但最终的结果表明，这种方式是非常有效的，论文中也指出一个通过上述方式训练出来的 13 亿的小模型，效果就能够超过没有经过这种训练的更大的模型。另外论文中还有一些非常值得一提的内容。首先是关于 Prompt 的一些发现。InstructGPT 训练时所使用的 Prompt 主要由两部分构成，一部分是专门的 AI 训练师编写的，另一部分自来 OpenAI 的模型在线服务期间，由用户使用中编写的内容，这时数据飞轮的作用就体现了。可以发现，无论是哪种，这些 Prompt 都是由真人写出来的，虽然文章中没有对这些 Prompt 的具体涵盖范围、分布情况以及提问的方式展开详细的分析，但可以合理地猜测这些 Prompt 具有一定的多样性和较高的质量。其实文章中对比了使用这些真人编写的 Prompt 训练的模型和使用一些开源 NLP 任务数据集中构建的 Prompt（例如 T0 数据集、FLAN 数据集）训练出来的模型，结论是由真人编写 Prompt 训练出来的模型，给出的答案更加能被评测的人接受。另外一点是关于训练好的模型对新的 Prompt 的泛化能力的问题，可想而知的是，如果训练完成的模型无法产生 Prompt 的泛化能力，那么现在 ChatGPT 所表现出来的，几乎百问百答的能力是不太可能产生的。因为在模型做微调的阶段，即便是再多的数据，也不可能把人们有可能会输入的内容都覆盖完整。而 InstrctGPT 论文中点明了文中所采用的方法是可以产生 Prompt 的泛化能力的。之所以花了更多的文字对 InstructGPT 做介绍，因为根据 ChatGPT 官方页面的介绍，InstructGPT 中的方法正是用来训练 ChatGPT 的方法，不同的只是 ChatGPT 使用了对话式的数据组织方式。 GPT-3.5 时代和 ChatGPT 的诞生在随后的时间内，OpenAI 发布了多个被称为 GPT-3.5 系列的模型，虽然这些模型并未有相关的论文跟随发表，但根据这篇文章的分析，GPT-3.5 系列应该是融合了 OpenAI 在 GPT-3 时代积累的技术、数据以及经验开发出来的。由于没有详细的官方公开信息参考，关于这些模型的具体资料，外界主要是通过分析使用的体验、相关的技术论文以及 OpenAI 的 API 文档介绍来进行推测。根据分析，GPT-3.5 系列的模型有可能并不是在 GPT-3 上继续微调而来，而很可能是将代码和自然语言的数据融合在一起，重新从零开始训练了一个基础模型。这个模型可能比 GPT-3 的 1750 亿参数量更大，它在 OpenAI 的 API 中被命名为 codex-davinci-002。然后在这个基础模型上，通过指令微调和人类反馈得到了一系列后续的模型，包括 ChatGPT。 GPT 系列模型的发展路径。简要地说，从 code-davince-002 这个模型开始，经过有监督的指令微调得到 text-davinci-002。以及后续的 text-davinci-003 和 ChatGPT，也是在 GPT-3.5 系列的某个模型上通过指令微调以及人类强化学习反馈得到的。并且 text-davinci-003 和 ChatGPT 都是在 2022 年 11 月发布的，不同的是 text-davinci-003 和 GPT-3 一样，是一个文本补全模型。而根据 ChatGPT 的官方介绍，它是通过将过往的数据处理成对话交互的形式，并增加了新的对话数据训练出来的。至此，我们大致回顾了 OpenAI GPT 系列模型从 2018 年的初代 GPT 到现在的 ChatGPT，一路发展迭代的过程。在这个过程中，OpenAI 一直保持着对生成式预训练模型这一技术路径的「执拗」，并且也一直从不断发展的 NLP 技术中吸纳新的方法，从最初的 Transformer 模型结构，到后来的指令微调（Prompt tuning）等技术的出现，这些因素共同促成了如今 ChatGPT 的成功。有了对 GPT 系列模型发展的了解，我们可以再回过头来看看如今的 ChatGPT。 3、走近再看 ChatGPT 在第一章节中我们阐述了 ChatGPT 出圈的原因主要是：「它以流畅、符合逻辑的自然语言来反馈人类对它输入的自然语言」，从而给与它交流的人带来了很强的「智能感」。在第二章节中通过回顾 GPT 系列模型的发展历史来了解 ChatGPT 成功之路。而这一章节会尝试以尽可能让圈外人都能理解的方式，稍微深入一些技术的内容，并且探讨一下当前的一些大型文本生成式模型为什么未能做到相同的效果。这一部份的主要参考来自于《深入理解语言模型的突现能力》和《拆解追溯 GPT-3.5 各项能力的起源》这两篇文章以及相关的一些论文，建议希望详细了解细节的读者阅读原文。虽然在第一章中指出，ChatGPT 所带来的惊艳效果是由许多不同的 NLP 任务综合体现出来的，但在分析它背后的技术时，还是通过将它的能力进行拆解会更加清晰明了一些。总体而言，ChatGPT 所体现出来的能力可以大致划分为以下几个维度： - 文本生成的能力：ChatGPT 的所有输出都是即使生成出来的文本，所以文本生成的能力是它最基本的要求。这一项能力实际上是来自于它的训练方式，ChatGPT 在预训练时，是一个标准的自回归语言模型任务，这是 OpenAI 所有 GPT 系列模型的基底。所谓的自回归语言模型任务，通俗的理解是这样的：它可以根据已经输入的文本，预测下一个 token 应该是什么。这里所说的 token，所代表的是模型所使用的最小单位的字符片段，它可以是字（在中文里采用字是很常见的），也可以是词（英文的每个词天然地被空格隔开了，所以常采用词），甚至是字母。但现在的方法通常采用的是子词（subword，介于字母和词之间，主要的目的是减少词表数量）。但不论是哪种，自回归语言模型任务的基本思路都是根据已经输入的文本，预测下一个要输出的文本是什么，就像下图的例子中那样：这个例子中，BOS 代表了输入的开头，而每个 token 是一个词，GPT 模型根据输入的「今天」和「天气」两个词，预测下一个要输出的是「不错」。在训练的时候，会准备很多文本数据，比如网页上的文章、各类书籍等等，只要是正常的文字内容，都可以用来训练。值得说明的是，这种数据不需要进行额外的人工标注，因为这类数据本来就是人写的，模型要做的事情就是根据这些人写出的文本，去学习「给定了前面的文字，接着这些文字后面这个地方应该是什么」的问题。这便是业内所称的「无监督训练」，实际上模型并不是真的没有监督（不然模型学什么呢？），只是它的数据不需要额外的人工标注。也正因为这个任务是不需要额外标注的，因此可以「免费」获得大量的数据，得益于互联网的普及，可以「轻松地」获得海量的由真人写出的文本内容用来训练。这一点也是 GPT 系列模型的特点之一，用海量的数据，去训练很大的模型。那么在我们使用 ChatGPT 的时候，它是怎么工作的呢？其实也和它的训练方式一样，模型会根据我们在对话框里输入的内容，去预测接在这些内容的下一个 token 是什么，得到这个 token 后，会将它与前面的内容拼接成一个新的文本给模型，模型再预测下一个 token，如此反复，直到满足某个条件后停止。这个停止的条件有很多不同的设计方式，比如可以是输出的文本达到特定的长度，又或者是模型预测出某个用来代表停止的特殊 token。另外值得一提的是，模型预测下一个 token 时，其实背地里是一个采样的过程。换句话说，模型在预测 token 时，输出的其实是所有可能出现的 token 的概率，然后从这个概率分布里采样一个 token。因此，在使用 ChatGPT 时，会发现即便对于相同的输入，它的输出每次也会不一样，因为在背地里它采样了不一样的 token 作为输出。了解这些之后，可以再回过头来思考一下模型在学什么。它在学习怎么回答问答吗？又或者说它在学习怎么理解自然语言所蕴含的信息、逻辑、情感？还是说它在学习海量的知识？从训练任务的设计来看，似乎都没有，它只是从海量的文本数据里，学习了「根据输入的这些文本，一个人类在后面会接着写什么」这件事。但正是这样的模型，在「进化」到 ChatGPT 时，它却掌握了丰富的知识、复杂的逻辑推理等等，它似乎掌握了一个人类运用语言所需要的几乎所有的能力。这是一件非常神奇的事情，它的「进化」历程将会在下一章节中做更加深入的介绍。 - 丰富的知识储备：ChatGPT 能够正确回答非常多的问题，包括历史、文学、数学、物理、编程等等。因为目前版本的 ChatGPT 并没有利用外部知识，因此这些知识的内容是「储存」在模型内部的。 ChatGPT 所拥有的丰富知识储备，来自于它的训练数据，以及它足够大的体量，以便学会这些内容。虽然官方并没有公开 ChatGPT 所使用的训练数据的具体细节，但从它的前身 GPT-3 的论文可以推测，这些数据大致可以分为三个大的范畴：网页内容、书籍内容以及百科内容。可想而知的是，这些内容天然地蕴含了大量的知识，百科和书籍自然不必说，而网页内容也包含了许多新闻、评论、观点等，并且网页也包括了很多专门的问答垂直类网站，这些都是 ChatGPT 的知识来源。在官方的介绍里指出 ChatGPT 无法回答 2021 年以后发生的事情，因此合理的猜测是训练的数据收集截止到 2021 年。但数据量只是其中一个方面，要让模型「掌握」这些数据，其自身的体量是不可能小的。以 GPT-3 为例，它有 1750 亿参数，可以粗浅地理解为，这些数据的内容以及模型的各项能力，都以这一个个参数的具体数值的形式，固定在了训练完成的模型中。感性的理解是，假设一个模型只有 1 个参数，那它什么也干不了。更严谨的分析和对比可以参考这篇论文《Holistic Evaluation of Language Models》的测评，方向性的结论是越大的模型，在需要知识来完成的任务上表现得越好。论文地址：https://arxiv.org/pdf/2211.09110.pdf - 逻辑推理与思维链的能力：从第一章图片中的鸡兔同笼的例子可以看出，ChatGPT 具有很强的逻辑推理能力。并且它能够将复杂的内容，通过拆解，分成多个小的步骤，一步步地进行推理，获得最后的答案，这种能力被称为思维链。从前面的介绍我们知道，模型在训练的时候并没有针对逻辑推理以及思维链做特定的设计。而当前的主流观点认为，逻辑推理和思维链很可能和两个因素相关，第一个是模型的体量，第二个是模型是否在代码数据上进行过训练。关于模型体量与推理、思维链能力的关系，在《深入理解语言模型的突现能力》中有对应的介绍。下面这张图展示了思维链能力与模型体量的关系。不同模型不同尺寸的思维链效果对比，图来自论文。GSM8K，SVAMP 和 MAWPS 是三个需要逻辑推理的数学应用题数据集，LaMDA，GPT 和 PaLM 分别是 3 个不同的模型。简要地说，图表中给出了三个不同的模型，在三个数学应用题数据集上的答对率。而值得关注的是以下几个方面：思维链的能力（蓝色实线）在模型体量够大的时候产生了效果上的突变；思维链的能力在模型够大的前提下，效果超过了标准的指令（Standard prompting，黑色实线）方法；思维链的能力在模型够大的情况下，可以接近甚至超过有监督的方法（橙色虚线）。用通俗的话来说，就是在模型足够大的时候，思维链的能力突然展现了出来，能够达到、甚至超过那些在推理数据集上专门进行有监督训练的模型。这个图也许部分解释了现在我们看到的 ChatGPT 所具有的优异推理和思维链能力。而另一个关于推理以及思维链能力的产生因素，与模型是否在代码数据上做过训练有关。目前这一点只是一个推论，《拆解追溯 GPT-3.5 各项能力的起源》中的分析表明体量类似的大型模型，没有在代码上做过训练的话，只有很弱或几乎没有思维链和推理能力。而 ChatGPT 确实是在代码数据上进行过训练的，这一点从它能够理解并生成代码也可以看出来。在第二章回顾发展历程中提到了，OpenAI 在 2021 年就发布了专门针对代码的 CodeX 模型，将代码数据加入 GPT 的训练数据应该就是从那时开始的。 - 按照人的提问或者指令给予回复的能力：ChatGPT 除了可以用狭义的基于「问答」形式的交互以外，还能够按照输入的要求进行回复。例如，在应对「帮我写一封信」这类指令式的要求时，它同样也展现出了优秀的能力。这种能力让它不仅是一个提供答案的「高级搜索引擎」，更是一种可以用自然语言来交互的文字处理工具。虽然目前大众普遍把目光聚焦在将 ChatGPT 作为一种类搜索引擎的工具，但查阅相关知识并给予回答并不是它的唯一能力。实际上，单就 ChatGPT 本身而言，回答知识性的问题并不是它的强项，毕竟它本身的训练数据被定格在了 2021 年。即便用更新的数据去训练，但它终究跟不上时事的变化，因此要将它用作知识性的问答工具，还是需要与搜索引擎等外部知识源做结合，就像现在 Bing 做的一样。但换一个角度来看，ChatGPT 像是一个「语言完备」的文本工具，也就是它能够按照你给它的要求，完成指定的、可以用文本形式表达出来的内容，就像下面这个例子。按照给定的计划内容生成英文邮件进行汇报。这里所说的「语言完备」，指的是运用语言的能力。可以看出上面这个例子里，其实不涉及知识性的内容，因为需要它写的内容已经提供给它了。但要写出这封邮件，涉及到的是运用语言的能力，比如遣词造句、语种切换、邮件格式等等。现在我们回过头来，尝试分析它的这种「按照指令完成任务」的能力是怎么获得的。在学界中，这种指令被称为 prompt，实际上对话中的用户输入、问答中的问题也是一种 prompt，因此可以粗浅地理解为，在聊天框里输入的所有内容都是 prompt。如果了解我们在本章第一节介绍语言模型的内容，那么更严谨一些的说法应该是「输入给模型的上文」都是 prompt。 ChatGPT 根据输入的指令（prompt）进行回复的能力，是来自于一种被称为指令微调的模型训练方式（prompt tuning）。其实原理很简单，模型依然还是「根据输入的内容，预测下一个 token 是什么」，只是在指令微调的阶段，输入的内容被换成了这些事先写好的 prompt，而 prompt 后面需要生成的内容，则是事先写好的答案。因此在这一阶段和一开始所说的无监督自回归语言模型训练，最大的不同在于数据。这里的数据，也就是 prompt 以及对应的回复，都是人写的，换句话说，这一阶段用的是人工标注的数据进行的监督训练。提到人工标注的数据，就自然牵涉到了所需要的数据量了，因为每一条标注数据都是需要成本的。如果是不需要标注（就像第一阶段的训练），那么自然有海量的文本数据可供训练，但如果要标注，那到底需要多少这种数据呢？要知道，让标注人员手写一个 prompt，然后再手写一个几百字的、真实详尽的回答，成本是很高的。根据论文《Training language models to follow instructions with human feedback》的介绍，所需要的数据其实不需要太多（相比于无监督阶段所使用的数据来说）。虽然具体到 ChatGPT 到底使用了多少没有确切的信息公开，但可以确定的是在数量级上一定远比用来进行无监督训练的网页、百科和书籍所构成的数据集要小非常多。论文地址：https://arxiv.org/pdf/2203.02155.pdf 只需要相对少量的人工标注的 prompt 数据就能达到让模型按照指令做出回复的目的，这一点背后其实隐含了一个现象，在学界内被称为 prompt 的泛化能力。可以想象一下，如今全世界都在不停的向 ChatGPT 提问，所提的问题也必定是千奇百怪的，这些问题其实就是一个个的 prompt。但用来对 ChatGPT 进行指令微调的 prompt 肯定不会有这么多，这说明模型在学习到了一定量的 prompt 和相应的答案以后，它能够「举一反三」地对它没有见过的 prompt 进行回答，这就是 prompt 的泛化能力。文章《拆解追溯 GPT-3.5 各项能力的起源》分析指出，这种泛化能力与在指令微调阶段让模型学习的标注数据数量以及多样性相关。此外，用少量的 prompt 数据就能微调出类似于 ChatGPT 这样拥有强大能力的模型，背后还隐含了另一个猜测，即模型所表现出来的各项能力，可能在无监督训练的阶段就已经存在于模型当中了。其实这也很好理解，毕竟相比于无监督的数据，这些人工标注的 prompt 数量太少了，很难想象模型是通过对这些仅有的标注数据学习而产生了各种各样的能力。从这个角度来说，指令微调的过程更多只是让模型学会按一定的规范来进行回复，而它的知识、逻辑等能力是早已存在的。 - 「客观公正」的能力：如果对 ChatGPT 询问一些有害或者有争议的问题，可以看到 ChatGPT 的回答都是非常「小心」的，很像是经过训练的新闻发言人般的回答。虽然它目前依然做得不够好，但这种能力是 OpenAI 敢将它公开作为一款产品使用的核心因素。让模型的输出符合人类的价值观是 OpenAI 一直在做的事情。早在 2020 年 GPT-3 的时候，OpenAI 就发现这种通过网上的数据训练出来的模型，会生成带有歧视、危险、争议的内容。作为一个对外提供服务的产品，这些有害的内容显然是不合适的。而现在的 ChatGPT 在这一点上有着明显的改善，让模型做出这种「行为改变」的主要方法也来自于 InstructGPT 的论文，更确切地说，是通过有监督的指令微调加上人类反馈的强化学习共同完成的，这一点在第二章中也已经做过介绍了。通过上述的分析可以发现，从技术方法的角度来说，ChatGPT 相关的内容都是已知的，但为什么当前只有它拥有如此惊艳的表现呢。实际上从 ChatGPT 推出之后，NLP 社区就一直在分析这其中的原因，虽然很多结论是推测性的，但也为同类模型的国产化带来一些启示。模型体量的因素能力涌现出现的前提是模型体量达到一定的规模，虽然没有具体的指标指引，但从目前的事实情况来看，类似于思维链等比较「高级」的能力，需要在数百亿参数量以上的模型中才表现得足够优异。数据量的因素模型的大小不是唯一的因素。DeepMind 在这篇论文《Training Compute-Optimal Large Language Models》提供了一些分析性的结论，指出训练的数据量需要随着模型的体量相应地增加，更确切地说，是模型训练时「见过的 token」数量，需要随着模型体量增加。论文地址：https://arxiv.org/pdf/2203.15556.pdf 数据质量的因素对于无监督的数据，数据量相对而言并不是很大的障碍，但数据质量往往更加容易被忽视。实际上在 GPT-3 的论文中，就有专门的内容介绍数据的处理工作。为了清洗 GPT-3 的训练数据，OpenAI 专门训练了一个数据过滤模型，来从海量的网页数据中获取更高质量的数据。相比而言，与 GPT-3 体量相当的一些开源模型，例如 Meta 的 Opt 和 BigScience 的 Bloom，似乎没有进行这一步清洗。这也许是这两个开源模型效果劣于 GPT-3 的原因之一。此外，数据质量的衡量维度不是单一的，诸如数据的多样性、内容重复度以及数据的分布情况都是需要考虑的因素。例如虽然 GPT-3 所使用的网页、百科、书籍这三大类数据中，网页数据的总量是最多的，但在训练时这三类数据的采样并不是按照实际数据的多寡进行的。另外值得一提的是，在指令微调的阶段，采用人工编写指令也许是一个重要的影响因素。InstructGPT 的论文明确指出在测评过程中，采用人工编写的指令训练出来的模型，比采用现有的 NLP 数据集通过模版的方式构建指令训练出来的模型有更好的效果。这也许解释了在 T0、FLAN 等由 NLP 数据集构成的指令数据集训练出来的模型为什么效果会差一些。训练过程的影响这类巨型模型在训练时通过集群进行训练，同时采用数据并行、模型并行以及 ZeRO 优化器（一种降低训练过程显存占用的方法），这些方式为训练的稳定性引入了更多的变量。如下这篇分析指出甚至模型是否采用 bfloat16 精度都对结果有明显的影响。分析链接：https://jingfengyang.github.io/gpt 相信了解了上面的这些内容，大家对复刻一个类 ChatGPT 的方式以及会面临的问题会有一个大致的了解。有幸的是 OpenAI 已经证明了这技术路径是能够走通的，ChatGPT 的出现也确实正在改变 NLP 技术的发展走向。 4、未来的展望 ChatGPT 从 2022 年 11 月上线以来，引起了极大的关注。相信即便是非专业领域，甚至是与计算机也很少打交道的群体，或多或少地都知道它的存在，这个现象本身就已经反映出它的出现有些不同寻常。圈外的大众更多的是以好奇、惊讶或者惊叹的方式来感性地认识它的出现。而对从业者来说，它的出现更多的是对未来技术走向的思考。从技术的角度来说，ChatGPT 的出现标志着 NLP 领域的又一次范式切换。之所以说是「又」一次，是因为在 2018 年，也就是初代 GPT 发布的那一年，与之同年发布的 BERT 模型以自身优异的表现，开创了 NLP 的「预训练 + 微调」范式的时代，具体内容在第二章中已经做过介绍了。这里主要介绍由 ChatGPT 开启的「文本生成 + 指令」的范式。具体来说，就是利用训练好的 ChatGPT 或类似的文本生成模型，通过输入适当的指令（prompt）来完成某一项具体的场景。这种范式与此前的 NLP 技术应用有很大的不同。不论是早期的利用 LDA、RNN 等统计模型或很小的深度学习模型的时代，还是后来利用 BERT 等预训练配合微调的时代，技术所提供的能力是相对原子化的，距离实际的应用场景有一定的距离。就拿前面举的让 ChatGPT 根据要求写英文邮件的例子，按照此前的做法，可能需要先抽取实体、事件等内容（比如时间、地点、事件等），然后通过模版或是模型形成邮件的样式，再通过一个翻译模型转化为英文。当然如果数据量足够训练端到端模型的情况下，也可以跳过中间的若干步骤。但不论采用哪种方式，要么需要将最终的场景拆解成原子化的 NLP 任务，要么需要对应的标注数据。而对于 ChatGPT 来说，只需要一个合适的指令。三个阶段的 NLP 技术范式。这种生成式模型搭配 prompt 的方式，直接略过了中间的各项 NLP 能力组件，用最直接的方式解决应用场景的问题。在这种范式下，完成终端应用的技术路径将不再是用单点 NLP 能力模块通过搭积木的方式组合起来。当然，这个过程不是一蹴而就的，也不意味着 NLP 的单点能力变得不重要。从测评的角度来说，每一个单点能力的好坏依然可作为评价模型效果的指标。并且，就某些场景来说单点能力依旧是一个强需求。例如在订票系统中本身就需要针对时间、地点进行提取。但与此前不同的是，ChatGPT 本身也可以完成单点能力，而不需要使用额外的功能模块。 ChatGPT 进行信息提取。 ChatGPT 进行情感判断。从这个角度来说，可以把 ChatGPT 看作是一个以自然语言作为交互媒介的 NLP 工具。如果说在过去，我们是通过模型 + 数据 + 设计训练任务的方式来完成某项 NLP 能力，那么 ChatGPT 则是通过设计指令来完成这些能力。可想而知，ChatGPT 的出现大大降低了 NLP 技术的应用门槛。但它目前还不是全能的。最重要的一点在于它缺乏准确可靠的垂直领域知识，为了让它的回答可靠，最直接的方式是为它提供外部的知识来源，就像微软将 Bing 的搜索结果作为它回答的信息来源那样。因此，「传统」的 NLP 技术并不会就此完全消亡，而是会以「辅助」的角色，作为目前 ChatGPT 短板的补充，这也许会是未来 NLP 技术应用的新范式。作者：追一科技来源：机器之心、DeFi之道来源：金色财经

金色财经2023-02-26

白重恩：必须接受增长潜力逐渐下降的现实，“5%、4%的增长也是不错的”

论环境。　　他进一步表示，只有让全体大众接受民营企业是重要的，他们是实现中国式现代化不可或缺的力量，才能让民营企业放心。　　白重恩还表示，民营企业没有对应的决策机构，工商联仅是服务机构，不参加决策。如果没有这样的机构就会出现很多问题：首先，谁来替民营经济中的问题发声。第二，各个部门都制定政策如何进行协调，避免同频共振，这也是一个问题。 “想象如果成立一个中央民营经济发展领导小组会是一个什么样的情形？也许会有一个不同的结果。”白重恩说。

金融界2023-02-26

股神也亏钱？巴菲特致股东信中透露哪些信息？伯克希尔2022年表现如何？

就是长期做空美国的时机。” 巴菲特是被大众广泛认可的世界顶级投资者之一，巴菲特致股东信是半个多世纪以来一直在坚持的传统。在这些信件里，巴菲特不仅回顾了伯克希尔哈撒韦公司过去的一年，还分享了他对从深奥的会计准则以及他对规避风险等方面的看法。周六的致股东信可以让广大投资者们一揽现年92岁的巴菲特是如何看待这个动荡不安的市场。不得不提的是，巴菲特的投资组合也在这次动荡中受到打击，伯克希尔哈撒韦公司公布2022年亏损，这在很大程度上是由于投资损失。市场的波动性为伯克希尔提供了买入股票的机会。虽然伯克希尔在2021年主要回购了自己的股票，但它在2022年更侧重于投资其他公司，这包括在媒体公司派拉蒙环球和建筑材料制造商路易斯安那太平洋等公司建立新的持仓，并迅速成为西方石油公司的单一最大股东。截至2022年底，伯克希尔哈撒韦公司是八家公司的最大股东：美国运通、美国银行、雪佛龙、可口可乐、惠普、穆迪、西方石油和派拉蒙环球。伯克希尔之所以能够进行大笔投资，是因为其保险业务产生了数万亿美元的浮动资金，即客户预先支付的保费，而伯克希尔又可以将这些资金投入市场。巴菲特表示，它去年收购了财产意外险保险公司Alleghany Corp，这有助于将其保险流通量增加到去年的1640亿美元，巴菲特也将其称为伯克希尔的“非凡资产”。（来源：FactSet）那么，巴菲特和他得力助手查理芒格是如何决定将这笔钱放在哪里的？对此两人都表示，他们不会根据他们所认为的利率、油价或其他影响市场的因素在一年内的走势来做出这个决定。在周六的致股东信中，巴菲特表示：“虽然经济学家、政治家和许多公众对这种巨大失衡的后果有自己的看法，但查理芒格和我以无知为借口，并坚信近期的经济和市场预测比无用还要糟糕。” 相反，两人专注于以“随着时间的推移而取得可接受的结果，并在金融恐慌或严重的全球经济衰退发生时保持公司无与伦比的生命力的方式”投资伯克希尔的资金。伯克希尔报告称，到2022年底，其现金和现金等价物为1286亿美元，低于2021年底接近创纪录的146 亿美元，但高于第三季度。虽然伯克希尔最初的业务是一家新英格兰的纺织公司，但现在已经不复存在，巴菲特表示，伯克希尔继续能够为股东带来回报，因为它专注于所谓的“押注美国”。在致股东信中，巴菲特表示：“没有伯克希尔，美国会很好，但反之则不然。”同时，巴菲特还为股票回购的做法辩护，伯克希尔哈撒韦在2022年花费了近80亿美元回购其股票，低于前一年创纪录的270亿美元。尽管回购的批评者认为，公司最好将这笔钱投资到他们的业务中，但像巴菲特这样的支持者表示，如果在公司股价低于其价值时执行回购，他们可以使股东受益。巴菲特原话是这么说的：“当你被告知所有回购都对股东或国家有害，或者对首席执行官特别有利时，你要么是对经济一无所知，要么就是有意的情绪煽动者。” 伯克希尔还于周六发布了其2022年的业绩。这家位于内布拉斯加州奥马哈的公司拥有保险公司 Geico、铁路公司BNSF Railway和巧克力制造商See's Candies等企业，伯克希尔公布全年亏损228.2亿美元，其中投资和衍生品合约损失达679亿美元。 2021年股市飙升时，伯克希尔公布的利润为908亿美元。（来源：FactSet）伯克希尔的总收入增长9.4%至3021亿美元。伯克希尔哈撒韦的营业收入（不包括一些投资结果）升至创纪录的308亿美元。第四季度，其营业利润下降8%至67亿美元，受其铁路业务利润下降的拖累。伯克希尔首席执行官巴菲特长期以来一直认为，营业收入更能反映伯克希尔的经营状况，因为会计准则要求该公司将其庞大投资组合的未实现损益计入净收入。波动的市场可以使伯克希尔的净收入在每个季度之间发生巨大变化，无论其基础业务的表现如何。巴菲特在致股东信中表示：“可以肯定的是，在过去的几十年里，资本收益对伯克希尔哈撒韦来说非常重要，我们预计这在未来几十年会产生有意义的积极影响。但他们每季度的波动，经常被媒体无意识地列为头条新闻，完全误导了投资者。”巴菲特和他的老战友查理芒格敦促股东将目光转向伯克希尔的营业收入。

楼喆2023-02-26

如何管理自己的仓位？无脑梭哈？收益最高的最佳投资组合是什么？

散、是否会操作失误、是否会按最初展现给大众的愿景去一直执行，还是后期随意改变制度，以及他们在遇到外界负面影响时的不良应对策略。比如项目在应用中技术出现漏洞时的不良应对，或者遇到技术瓶颈不能攻克，或者遇到更强大的竞争对手时，无法赶超从而可能被淘汰。或者受一些政府政策影响产生严重不利局面等等，这些不利的因素都还是往好的方面考虑。更有甚者，直接告诉你我们跑路了一切坏的情况，都有可能出现。我们到这个市场，想从这些山寨项目中赚钱，首先不是去看这些项目能给我带来多少倍的收益，而应该先衡量一下，如果我梭哈这个项目，出现上面那些一个或多个不利因素的时候，我自己会承受什么损失，而自己能不能承受这样的损失。再考虑要不要投这个项目，或投多少的问题在你能承受的损失或风险范围内去投资，你的心态会好很多。而心态很大程度上决定了你能不能赚钱。如果你用自己不能承受的损失或风险，去博取很夸张的收益，那往往是会亏钱的。因为你不能承受较大的浮亏，你也就拿不住，因为你面对巨大浮亏时的心态非常不好，你受不了就会恐慌、割肉。这不是散户才有的情绪反应，这是任何作为正常人来说，都有的情绪反应。因此，以损定量，不管是合约仓位，还是山寨现货仓位，在你能承受的损失范围内去决定你要投入多少仓位。而不是无脑梭哈。圈内有一些神话，说某些人用几万变千万，几十万变几个亿。每期彩票都有人2块变500万甚至1000万。实际上，99%的人一辈子都不可能中一等奖。这是幸存者偏差。那些毕竟是极少数。这个市场一样，永远都是七亏二平一盈。别人之所以几万变千万，那是因为一直有我们这些大量的散户给他们贡献了自己的子弹有人梭哈确实可能暴富了，但更多的人梭哈是暴负了。我们不能把运气当成致富的手段，而是应该以稳妥的方式去积累。为什么很多人喜欢山寨，因为山寨涨起来的时候，可以百倍甚至千倍，收益远超大饼，但却往往忽略了，山寨跌起来的时候，可以归零，比如LUNA，当初人人看好的项目，比如FTX，当初大家都认为可以与币安抗衡的存在。这些好项目，当初有多少人梭哈，现在可以想象一下这些梭哈人的处境再好的山寨项目，它的风险都比大饼以太大很多。大家喜欢买山寨，因为只看到它可能比大饼涨得多，而没看到它可能比大饼的风险大得多；只看到诱惑，看不到风险。盈亏同源，要想博得山寨的高收益，必然要承受山寨的高风险。先问自己，能不能承受这些风险，能承受多大的风险，再决定要不要买和买多少因此，大家问我买哪个的时候，我最直接的回答是，买大饼和以太。因为可能这才是真正适合大多数散户的：风险最小，操作最简单、最省心、收益最高的最佳投资组合。要求稳，真的必须选大饼以太，因为这是币圈的大众信仰。相比传统行业，大饼以太拿3年的收益已经远远超过几乎所有传统行业的收益了，知足吧当然，如果你有较多的资金，可以把你的资金分成几份，大部分的资金买最稳的大饼以太，少部分资金去博取更高收益的优质山寨长线。另拿一小部分资金追市场热点短线。再永远留一部分现金。永远别拿会影响你正常生活的资金去投入，除非你能承受最坏的情况在加密行业你想抓住下一波牛市机会你得有一个优质圈子，大家就能抱团取暖，保持洞察力想抱团取暖，或者有疑惑的，欢迎加入我们感谢阅读，喜欢的朋友可以点个赞关注哦，我们下期再见！来源：金色财经

金色财经2023-02-25

ChatGPT在一线城市火元宇宙在二三线城市热

门问问，也因旗下的AIGC产品重新回到大众视野。但是，资本对AIGC的疯狂押注并不意味着完全放弃了元宇宙赛道。投资人认为，在一定阶段内，资本总会有一个重点关注方向。当AIGC领域进入稳定发展后，资本可能会将目光再次投向元宇宙。 “我们还是会继续看一些应用层的东西。资本对元宇宙领域冷淡，并不是它本身不行了，而是AIGC太火了。”盛景嘉成董事总经理刘迪表示，他认为，资本依然在持续关注元宇宙在应用层面的突破和创新。 “国内大厂的收缩只是意味在C端对于元宇宙仍然停留在游戏和视频层面，短时间快速上量的消费者教育仍需时日。但不代表在应用软件层面的收缩不前。前期元宇宙大厂的预期和应用发展两者之间存在脱节。” 整体来看，还是元宇宙C端生态没有成熟，并不是说没有投资机会。由于国内在XR设备方面的研发进展并不顺利，迟迟没有找到合适的切口。从投资角度来看，研发瓶颈意味着投资回报周期将会被拉长。因此，资本对元宇宙硬件设备的耐心越来越少。唯一的破局之法被押注在八月份苹果上线的XR设备上。图源：Bloomberg “短期内，应该不会有人投硬件设备，尤其是VR头显。比较靠谱的做法是等今年8月苹果的新产品出来之后再看。可能苹果的新设备出来之后，又会带动一波元宇宙投资热潮。”上述投资人表示。相应地，这意味着硬件设备的公司在融资之路可能会变得艰辛，VR/AR公司的融资神话可能要在2023年被打破。一位业内人士预测，XR将会处于长期增长乏力状态，因为，XR没有“市场肩膀”可站。 “这些年，科技的发展速度影响着大家对XR行业的期待。要不然就是觉得明天会爆发，反之也会觉得即将步入消亡的阶段。虽然很多互联网领域在当下依然可以实现快速成功，但互联网思维并不适合XR行业。即便在Quest推出之后，XR领域也远没有实现真正的从0到1。因此，行业不能将高速增长的期望寄托在现阶段XR行业上。” 03 泛元宇宙项目在二三线城市加速落地与元宇宙赛道退潮的论调截然不同的是，元宇宙的疆域正在从一线城市向外延伸，在新一线、二三线城市加速落地。以超级队长的发展路径为例，目前，超级队长不光在北京、上海等一二线城市进行了布局，更是深入三四线城市，产品终端覆盖了中国超200个城市。其CEO王磊认为，在产业建立起杀手级的内容生态和硬软件专业性能之前盲目对C端进行规模化应用，是一种操之过急的行为。“如果用户只是因为好奇心而买单，那么复购便会是个核心问题。” 近三年，超级队长主要发力B端，“VR设备需要深耕垂直场景，通过解决实际问题找到行业突破口。”在这一思路的指引之下，超级队长选择了泛科普领域，解决展览展示和培训的需求，包括中小学的教育安全课程、党建类红色知识的学习等。在王磊看来，这一领域对应的是普惠性场景，覆盖了学校、党建等场景的需求。“不光大城市有需求，乡村基层同样也有需求。” 王磊介绍，超级队长将多款原创VR内容、自研系统控制、独立硬件开发成一款一体化部署产品，省去冗杂的操作步骤，能快速进入场景，最快实现产品能力的突破。在产品走向二三线乃至更大需求场景时，使用门槛和成本成为影响最终能否落地的重要因素。“体验用户如果很难上手，产品就会失去核心竞争力。”同样，高昂的成本也很难在中小城市实现覆盖。因此，超级队长在产品设计时坚持操作便捷、降低成本的思路，借此实现应用场景的突围。 “目前，以科普为例，十万元以内就能打造小型的学习体验中心，涵盖了近百部标准VR内容，同时支持30人进行体验。” 多位行业人士对剁主表示，2023年，元宇宙将在培训行业、教育行业迎来新的转折点。王磊补充分析，传统的多人被动式培训有物理场景等多种因素的限制，难以进行场景模拟，而这正是VR设备的优势所在，核心要能进入实际场景，解决实际问题，为社会创造价值，这是商业的本质，也是VR赛道的新机遇。除了VR产品，数字人行业也在二三线城市实现了落地应用。在这一方面，无论是一线台还是二线台，都表现出了极强的积极性，将数字人与新闻报道相结合，刷新融媒报道形式。 1月13日，山东广电推出了首个超写实数字主持人——“海蓝”。在制作方面，海蓝结合了当下最先进时域扫描系统、表情捕捉及表情迁移系统和数字人体征数据库等技术，为数字人进行赋能。在此基础之上，海蓝不仅“腹有诗书”，而且还多才多艺，精通琴棋书画，能够轻松驾驭多种报道内容和报道形式。从山东广电释出的消息来看，除了节目报道之外，海蓝还将赋能山东省内的实体企业，将数字人和产业转型实现深度结合。其实，元宇宙项目能够在二三线城市顺利落地延伸，也离不开地方政府的积极助力。王磊就对剁主透露，不少地方政府会主动联系合作。元宇宙是高科技发展的方向和趋势，而这正是各省市想要突出强调的产业概念，借此展现城市的开放和发展。同时，在二十大和“十四五”规划中，数字经济也被多次提起，自上而下形成了驱动力。可以预见的是，各级省市将会在元宇宙方面投入更多的资金，元宇宙和产业的结合也将发展出更多落地方案。来源：“剁椒娱投”（ID：ylwanjia），DeFi之道作者：西西弗不空来源：金色财经

金色财经2023-02-25

24小时热点