FX168财经网_全球视野外汇黄金加密货币NFT资讯网

再度缩量下跌，成交额创年后新低！国防军工逆市爆发，港股互联网ETF连续15日吸金！

块在早盘冲高回落后，下午盘再度被拉起，ChatGPT、东数西算及算力芯片明显回暖；军工股早盘逆势大涨，午后资金略有流出。大金融萎靡，白酒股连续调整，新能源在短暂回暖后重归跌势，钙钛矿、一体化压铸、POE胶膜等齐跌。主力资金动向上，计算机、国防军工、轻工制造流入额居前，分别为61.92亿元、34.65亿元和10.25亿元，在31个申万一级行业中占得前三席位。净流出方面，电力设备、有色金属行业分别净流出42亿元、22亿元居前。【ETF全知道热点盘点】今日重点聊聊国防军工、港股互联网两个板块主题的交易和基本面情况。一、【国防军工ETF（512810）】今日全市场31个申万一级行业中仅有6个行业逆市飘红，国防军工板块涨幅高居榜首！中证军工指数74只成份中66股收红，占比近九成，长城军工早盘一度封板，收涨7.4%，钢研高纳、航新科技涨超5%，北斗星通、中国船舶、航锦科技等大幅跟涨。表征军工板块行情的国防军工ETF（512810）开盘后直线拉升，一度涨至2.21%，而后震荡回落，持续高位盘整，截至收盘放量涨1.59%，连续攻破10日线、20日线、半年线及年线等4根均线！全天成交7448万元，较昨日激增63%！中航证券研报指出，2022年受公共卫生防控、限电以及部分供应链问题影响，部分军工上市公司业绩出现暂时性的调整。军工行业整体在前期扰动因素出清后，订单有望加速回补，且部分细分行业如导弹领域有望出现跨周期确认，叠加行业提速补量2023年有望迎来产业大年。中信证券研报指出，逆全球化大背景下，公共卫生防控、国际局势等事件加剧了“安全”在各国决策中的重要性。欧美等国近年来通过制造业回流、排外的贸易协定、技术封锁等方式试图降低对于中国供应链的依赖程度，国内政策方面，重点强调了科技和安全，提出“以新安全格局保障新发展格局”。在此背景下，我们认为“安全”有望成为本轮经济复苏过程中、具备产业空间和业绩弹性的成长主线，当前时点建议战略性配置“四大安全”，包括能源资源安全、科技安全、国防安全以及粮食安全。资料显示，国防军工ETF（512810）成份股全面覆盖74只国防军工领域的细分龙头，是一键投资A股军工核心资产的利器。相较其他资产，国防军工行业内循环程度高，经营韧性强，军民融合前景广阔，当前国企改革如火如荼，且板块估值仍处历史低位，具备长期投资价值。二、【港股互联网ETF（513770）】港股今日继续弱势调整，市场聚焦FOMC坚持加息以遏制消费物价的前景，叠加A股调整，以及人民币贬值影响，三大指数全天低开低走，恒指收跌1.68%逼近2万点大关，录得4连跌；恒生科技指数跌3.34%。盘面上，腾讯、美团、快手等大型互联网巨头齐跌，中证港股通互联网指数收跌1.84%。热门ETF方面，一键跟踪港股通互联网板块行情的港股互联网ETF（513770）早盘低开后短暂拉升翻红，随后再度走低，收跌0.60%，表现优于指数，全天成交额2.73亿元，较前一日进一步放量，换手率近38%。值得注意的是，港股互联网ETF（513770）水下震荡期间持续溢价交易，截至收盘溢价率高达0.8%，显示买盘资金活跃。与此同时，Wind数据显示，资金近期持续加码港股互联网板块，港股互联网ETF（513770）最近15个交易日连续吸金，合计获得资金净申购达1.48亿元，彰显市场对板块后市乐观预期不改。中国银行研究院高级研究员赵雪情表示，对于FOMC加息的外溢影响，未来一段时期，美元利率趋于上升，总体高于此前常态水平，金融价格将面临调整，债务压力加剧，资产价格估值趋降，新兴市场汇率承压。关于港股后市，花旗认为还有更多上行空间，有利因素来自高层会议、普遍盈测向上修订以及长线投资者的权重增加。花旗维持恒指今年上半年末和年底目标不变，分别是24000点和25000点，意味着仍有15%和20%的上行空间。广发证券指出，2022年11月至2023年1月反弹是高赔率下迎来胜率改善的契机，2023年2月至今港股回调是赔率空间压缩后胜率后劲不足，美债收益率反弹主导。站在当下，当前港股的赔率空间已经凸显。建议关注扩内需“重建”&“发展”——平台经济。资料显示，港股互联网ETF（513770）跟踪中证港股通互联网指数（931637），权重股汇聚腾讯控股、美团、小米集团、快手等不同互联网细分赛道龙头公司，备受南向资金青睐，经济复苏大势下经营业绩有望迎来回暖；指数长期业绩优于恒生科技指数等同类指数，收益弹性突出，为去年11月港股行情的“反弹王”。数据来源：Wind，统计周期：2022.10.31~2022.12.31 风险提示：国防军工ETF被动跟踪中证军工指数，该指数基日为2004.12.31，发布于2013.12.26；港股互联网ETF被动跟踪HKC港股通互联网指数，该指数基日为2016.12.30，发布日期为2021.1.11。指数成份股构成根据该指数编制规则适时调整，其回测历史业绩不预示指数未来表现。文中提及个股仅为指数成份股客观展示列举，不作为任何个股推荐，不代表基金管理人和本基金投资方向。任何在本文出现的信息（包括但不限于个股、评论、预测、图表、指标、理论、任何形式的表述等）均只作为参考，投资人须对任何自主决定的投资行为负责。另，本文中的任何观点、分析及预测不构成对阅读者任何形式的投资建议，本公司亦不对因使用本文内容所引发的直接或间接损失负任何责任。投资人应当认真阅读《基金合同》、《招募说明书》、《基金产品资料概要》等基金法律文件，了解基金的风险收益特征，选择与自身风险承受能力相适应的产品。基金过往业绩并不预示其未来表现！根据基金管理人的评估，国防军工ETF、港股互联网ETF风险等级为R3-中风险。销售机构（包括基金管理人直销机构和其他销售机构）根据相关法律法规对本基金进行风险评价，投资者应及时关注基金管理人出具的适当性意见，各销售机构关于适当性的意见不必然一致，且基金销售机构所出具的基金产品风险等级评价结果不得低于基金管理人作出的风险等级评价结果。基金合同中关于基金风险收益特征与基金风险等级因考虑因素不同而存在差异。投资者应了解基金的风险收益情况，结合自身投资目的、期限、投资经验及风险承受能力谨慎选择基金产品并自行承担风险。中国证监会对本基金的注册，并不表明其对本基金的投资价值、市场前景和收益做出实质性判断或保证。基金投资需谨慎。（来源:界面AI）声明：本条内容由界面AI生成并授权使用，内容仅供参考，不构成投资建议。AI技术战略支持为有连云。

有连云2023-02-24

万字圆桌实录：ChatGPT背后的AIGC 将生成怎样的浪潮？

金色财经2023-02-24

格上每日收评—2023年02月24日

0只个股下跌，北向资金净流出。盘面上，ChatGPT概念相关板块午后逆势活跃，军工股盘中活跃，服装股尾盘异动。整体上市场热点较为零散，两市涨停个股仅14只。下跌方面，光伏等赛道板块集体调整。沪深两市今日成交额7258亿，较上个交易日缩量约800亿。截至收盘，今日上证指数收于3267.16点，下跌0.62%，成交额为3080亿元；深证成指下跌0.81%，成交额为4178亿元；创业板指下跌1.16%。今日两市上涨个股数量为1757只，下跌个股数为3089只。从风格指数上来看，今日各风格表现不佳，其中成长和稳定风格的个股跌幅最小，消费和金融风格的个股表现最弱。近期风格转换较为明显。盘面上，31个申万一级行业中有6个行业上涨，其中国防军工，计算机，通信行业领涨，涨幅分别为1.66%，0.92%，0.64%。非银金融，食品饮料，汽车行业领跌，跌幅分别为1.53%，1.47%，1.38%。资金面上，今日北向资金净流出50.98亿元；其中沪股通净流出30.18亿元，深股通净流出20.80亿元。近三个月北向资金净流入2084.34亿元。俄乌和中美局势对北向资金边际影响逐渐缩小，美国通胀走势和国内经济状况最近对北向资金影响较大。从风险溢价指数来看，风险溢价率在历史上处于均值+1倍标准差之上时，A股往往处于底部区域。目前风险溢价率为2.62%，低于一倍标准差，万得全A指数处于爬升阶段。风险溢价指数近期下降，市场情绪回暖。后期市场仍有扰动，但下行空间相对可控，建议投资者择机分批布局。（注：数据更新至前一交易日，风险溢价率越大，表明配置股票的性价比越高；反之，则配置债券的性价比越高）热点新闻新闻一：“横琴金融30条” 发布，有何要点？ 2月23日，人民银行会同银保监会、证监会、外汇局、广东省人民政府联合印发《关于金融支持横琴粤澳深度合作区建设的意见》和《关于金融支持前海深港现代服务业合作区全面深化改革开放的意见》。两份《意见》各提出三十条金融改革创新举措，涵盖民生金融、金融市场互联互通、现代金融产业发展、促进跨境贸易和投融资便利化、加强金融监管合作等方面。其中《关于金融支持横琴粤澳深度合作区建设的意见》提出，到2025年，电子围网系统和跨境金融管理体系基本建立，合作区与澳门金融服务一体化初步实现，便利澳门居民生活就业的金融环境初步形成，助力澳门经济适度多元的现代金融产业集聚发展，在跨境资金流动自由便利、投融资汇兑便利化、金融业对外开放等方面先行先试。到2035年，电子围网系统和跨境金融管理体系更加完善，合作区与澳门金融一体化水平进一步提升，金融环境更加优化，现代金融产业进一步发展。将合作区打造成为我国金融业扩大对外开放的新高地、中国—葡语国家金融服务平台和粤港澳大湾区金融市场互联互通的示范区。《关于金融支持前海深港现代服务业合作区全面深化改革开放的意见》提出，到2025年，建立健全以金融业扩大开放、人民币国际化为重点的政策体系和管理体制，基本实现与香港金融市场高水平互联互通，金融风险监测、防范和化解体系更加完善，金融对粤港澳大湾区发展的支撑作用日益彰显。到2035年，实现以负面清单为基础的更高水平金融开放，跨境资金高效便捷流动，基本建成与国际接轨的金融领域规则体系，金融环境达到世界一流水平，为全国金融业扩大开放起到更强示范引领作用。市场有风险，投资需谨慎。本内容表述仅供参考，不构成对任何人的投资建议。格上研究

格上财富2023-02-24

一周透市：低估值蓝筹股崛起，多只ChatGPT高位股跌进10大熊股榜，奥联电子重挫四成

万元/吨。　　复旦团队发布国内首个类ChatGPT模型MOSS 　　复旦团队发布国内首个类ChatGPT模型MOSS，邀公众参与内测。MOSS可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。　　奥联电子：因涉嫌信息披露违法违规遭证监会立案调查　　围绕着公告中的相关信息披露“被打假”，奥联电子本周陷入舆论风暴。23日深夜，奥联电子公告称，因公司涉嫌信息披露违法违规，证监会决定对公司立案调查。立案调查期间，公司将积极配合中国证监会的调查工作，并严格按照规定履行信息披露义务。　　二、市场概览　　本周A股先扬后抑，周一市场在蓝筹的带动下放量大涨，沪指单日涨超2％，周二更进一步站上3300点，随后两天围绕这一点位震荡拉锯，周五再度回落。全周维度计算，上证指数累计上涨1.34％，深成指累计涨0.61％，创业板指累计下跌0.83％，科创50指数、上证50指数均小幅上涨。　　量能方面，本周呈现前高后低的态势，周一、周二均超过9000亿元，周三、周五则未能超过8000亿元。本周A股两市日均成交额回落至8375.118亿元，前一周为9726.94亿元。　　三、热点复盘　　全周维度来看，申万31个一级行业涨多跌少，仅医药生物、食品饮料、传媒、美容护理小幅下跌；煤炭、钢铁、有色金属等周期行业表现出色，分别上涨6.13％、4.51％、2.96％，家用电器、建筑装饰、建筑材料、轻工制造等地产链条相关的行业同样较为靓眼，周涨幅均超过3％；非银金融、银行两大金融行业涨幅超过2％。整体来看，全民注册制落地的背景下，低估值蓝筹股的启动成为本周市场最大的亮点。　　在概念类指数中，汽车产业链相关题材较为活跃，轮毂电机涨近10％，毫米波雷达涨超5％；低碳冶金、空间站涨超6％，水产养殖、6G涨超5％，天基互联网、职业教育、数据安全、Chiplet等涨逾4％；长寿药概念跌近5％，蒙脱石散、新冠药物、CART细胞疗法、固态电池、举牌、白酒等概念板块跌幅超2％。　　毫米波雷达概念本周爆发，消息面上，报道称特斯拉新款Model3或标配4D毫米波雷达，随后美股4D成像雷达解决方案供应商Arbe Robotics单日大涨近50％，A股市场受映射效应，炒作相关概念股。券商分析指出，国内市场方面，4D毫米波雷达已搭载于飞凡R7、深蓝SL03等量产车型，产品有望加速渗透。目前，威孚高科、经纬恒润正与4D毫米波雷达芯片供应商Arbe紧密合作，进行产品研发，华域汽车的4D毫米波雷达已实现小批量供货，保隆科技的相关产品也已处于研发测试阶段；4D毫米波雷达有望带动元器件量价齐升，上游元器件供应商有望受益。　　四、牛熊榜单　　储能概念股三变科技、金冠电气、苏文电能本周分别大涨49.09％、30.94％、21.92％；晋拓股份、威孚高科因受到毫米波雷达概念的炒作而分别大涨46.91％、23.23％；多伦科技被挖出ChatGPT概念后连续两日涨停，周五再度上涨近4％；*ST瑞德（奥瑞德）重整计划资本公积金转增股本事项实施，股价连续5日涨停；受卫星导航相关利好刺激，中国卫星本周涨超24％；弘亚数控本周涨超22％，公司称目前经营情况正常，内外部经营环境未发生重大变化；次新床垫股慕思股份本周同样大涨22％。　　本周十大牛股（备：不含ST股及上市天数小于30天的股票）　　熊股方面，奥联电子公告信息遭打假，本周累计下跌37.77％（周二至周四跌41.56％）；*ST深南持续下跌，目前已连续19个一字跌停；人工智能大主题下的锐明技术、海天瑞声、智微智能、汉王科技分别下跌19.92％、18.77％、16.02％、15.61％；*ST西源在上周连续涨停做出“挣扎”后，本周开始调整，目前连续4日跌停报0.78元，提前锁定“1元退市”；*ST荣华本周跌15.91％，目前已连续16交易日收盘价低于1元；流通股本仅2000万的博菲电气在经历大涨后回调，本周跌超13％；万通发展跌近13％，消息面控股股东及其一致行动人累计被司法冻结股份达1.08亿股。　　本周十大熊股（备注：不含ST股及上市天数小于30天的股票）公司　　五、千亿榜单　　截至周五收盘，A股共136家千亿市值公司，总数较前一周净增2家，其中中信特钢、大秦铁路因股价上涨进入千亿榜单，宁德时代因股价下跌重新回到本榜单，中国人寿则升回到万亿市值俱乐部。　　与前一周五收盘时比较，从增减市值来看，近两周的千亿市值公司中，中国人寿市值增长313.74亿元居于首位，中金公司则增长203.71亿元位居第二，招商银行市值增长189.15亿元，兖矿能源、中国神华市值均增长了超160亿元，长城汽车市值增加超150亿元，中国石油、格力电器市值增长超140亿元；宁德时代市值单周蒸发超360亿元，五粮液蒸发逾270亿元，山西汾酒、亿纬锂能蒸发超140亿元，比亚迪、洋河股份、中国平安均蒸发超100亿元。　　千亿市值公司市值增长、蒸发金额TOP10 　　从市值增幅来看（即周涨幅），前五名分别为中金公司、兖矿能源、宝钢股份、格力电器、中兴通讯；总市值降幅来看，前五名分别为亿纬锂能、联影医疗、洋河股份、山西汾酒、青岛啤酒。　　截至当前，千亿市值榜单中总市值TOP5分别为宁德时代（9901.95亿元）、中国石油（9572.00亿元）、中国银行（9479.29亿元）、招商银行（9447.35亿元）、中国平安（8811.08亿元）。　　六、新股风向　　打新情绪依旧乐观。本周A股6只新股上市，从首日表现来看，北交所峆一药业领跑，涨幅超过50％，北交所舜玉精工、深交所主板和泰机电首日收涨超40％，科创板龙迅股份、北交所一致魔芋、创业板真兰仪表不同程度上涨，截至目前，上述6只新股最新价较发行价均有着不同程度的上涨，且上市后盘中亦未现破发情况。　　七、主力资金　　主力资金本周净流入规模缩小，不过仍达到了956.69亿元。　　行业维度来看，光伏设备5日大幅净流入31.89亿元，煤炭行业则获净流入8.24亿元，工程建设、风电设备、船舶制造净流入2500-3500万元不等，汽车服务、航天航空获小幅净流入；互联网服务遭大幅出逃，5日主力净流出近70亿元，电池、化学制药、软件开发、中药均遭净流出超40亿元，文化传媒、酿酒行业、消费电子等净流出超30亿元，电力行业、化学制品、电网设备等净流出规模靠前。　　个股方面，同为股份净流入8.95亿元，中科曙光、牧原股份、中国建筑净流入逾7亿元，通富微电、阳光能源、中炬高新等净流入超5亿元，中国卫星、扬州金泉、德业股份等同样受主力资金青睐；东方财富5日净流出16.13亿元，中国电信净流出13.16亿元，天齐锂业、昆仑万维、比亚迪、亿纬锂能等被抛售超10亿元。　　八、北向资金　　北向资金在周一周二依旧维持净流入状态，不过在随后的三个交易日连续“减仓”，本周北向资金累计成交4261.43亿元，成交净卖出41.25亿元。其中，沪股通合计净买入24.83亿元，深股通合计净卖出66.08亿元。　　北向资金净流入情况叠加上证指数　　从市值维度看，北向资金持股市值近5日增幅靠前的行业为汽车服务、农药兽药、非金属材料、化肥行业、包装材料；而教育、电机、小金属、综合行业、半导体、中药等持股市值降幅居前。　　从净买入金额来看，北向资金本周净买入牧原股份、贵州茅台、隆基绿能等金额相对较多，其中，牧原股份被净买入9.91亿元，贵州茅台被净买入逾7亿元，隆基绿能被净买入6.36亿元，华鲁恒升、长江电力、万华化学或净买入超5亿元，三一重工、科大讯飞、汇川技术等周净买入额居前。　　从净买入量看，北向资金净买入农业银行6943.06万股，净买入包钢股份5825.86万股，净买入中国建筑2710.75万股，净买入铜陵有色同样超2000万股，净买入牧原股份、广汇能源、重庆钢铁、山西焦煤超1500万股。　　北向资金一周净流入金额、净买入量前15个股　　从净卖出金额来看，本周北向资金净卖出陕西煤业规模居首，金额为9.12亿元，比亚迪、中国平安被卖出超8亿元，宁德时代被净卖出超5亿元，伊利股份、阳光电源、通富微电能等被净卖出超4亿元。　　从净卖出量看，北向资金净卖出京东方A、中国联通、TCL科技、洛阳钼业超3000万股，净卖出陕西煤业近3000万股，净卖出紫金矿业、和邦生物超2500万股，净卖出中国平安、中公教育、伊利股份等数量靠前。　　北向资金一周净流出金额、净卖出量前10个股　　九、机构调研　　本周已披露相关调研信息的上市公司数量达到247家（前一周为270家），重点集中在医药生物、机械设备、电子、电力设备等行业。其中9家公司获得超100家机构调研，汇川技术成为机构“宠儿”，合计有235家机构调研了该公司；汤姆猫同样受追捧，超200家机构扎堆调研，丽珠集团、德龙激光、东威科技等亦受关注。　　本周调研机构超50家的上市公司

金融界2023-02-24

汤姆猫收关注函：说明公司接入ChatGPT的API进行语音互动产品功能原型测试的具体进展

函，要求补充说明公司接入OpenAI的ChatGPT的API进行语音互动产品功能原型测试的立项时间、项目投入、人员配置及测试工作的具体进展；补充说明公司在不直接拥有类ChatGPT应用程序的情况下，对“会说话的汤姆猫”相关产品进行迭代升级的整体方案及预计投入，公司是否有相应的技术及人才储备实施相关募投项目，相关安排是否与你公司筹划的募投项目及募资规模相匹配.

金融界2023-02-24

刚刚！河南省农信社传来大消息，招不到学生？央企幼儿园首次对外招生，A股“混吃等死”，恒生科指大跌

富、世荣兆业不同程度上涨；　　　　ChatGPT、人工智能概念小幅反弹，证通电子、网达软件涨停，鸿博股份触及涨停，神州数码、拓尔思、汤姆猫涨超5％；　　　　相比A股的扭扭捏捏，周五港股直接摊牌认跌了！　　2月24日港股低开低走，截至收盘，恒生指数跌1.68％，报20010.04点，恒生科技指数跌3.34％，报4010.66点，国企指数跌2.28％，报6703.45点，红筹指数跌1.5％，报3929.06点。　　大型科技股中，阿里巴巴-SW跌5.36％，腾讯控股跌1.85％，京东集团-SW跌4.75％，小米集团-W跌1.15％，网易-S跌11.21％，美团-W跌3.38％，快手-W跌4％，哔哩哔哩-W跌5.97％。　　　　四大会计事务所新中标多家国企项目　　早上，关于四大和国企的小作文满天飞，弄的市场人心浮动。不过午后就被证实为谣言，一财报道近期多家国企发布的相关采购项目中，中标候选人中有普华永道、安永、毕马威、德勤四大会计事务所。事实上，目前多家国有大行的审计机构来自上述四大会计事务所。　　根据中国注册会计师协会行业管理信息系统，2021年，普华永道中天会计师事务所、安永华明会计师事务所、毕马威华振会计师事务所、德勤华永会计师事务所公开披露的各自主审央企数量分别为7家、11家、3家、3家。　　招不到学生？央企幼儿园首次对外招生　　继#首轮幼儿园关停潮已到来#冲上热搜之后，#央企幼儿园首次对外招生#也冲上了热搜第一。　　　　2月24日，据媒体报道，武汉一家幼儿园园长介绍，自己在这所幼儿园工作了20多年来，向来只对单位内部招生，前几年刚放开二孩时，生源多得还要排队筛选入园，但从去年秋季开始，个别班级却出现了招不满的现象。面对变化，今年春招园方决定扩大招生范围，不再硬性规定家长必须为本单位职工。　　河南省农村信用社联合社原党委书记王哲接受审查调查　　据河南省纪委监委消息：河南省农村信用社联合社原党委书记王哲涉嫌严重违纪违法，目前正接受河南省纪委监委纪律审查和监察调查。　　

金融界2023-02-24

互动| 博瑞传播：持有成都每经传媒有限公司35%股权其已成为“文心一言”的首批接入用户

开信息，每经传媒已经成为百度公司旗下类ChatGPT产品“文心一言”的首批接入用户。目前，类ChatGPT产品的应用尚处于前期阶段，其未来市场表现及对业绩的影响存在不确定性。

金融界2023-02-24

ChatGPT的前世今生：OpenAI的技术「执拗」与「豪赌」

来源：机器之心本文全方位地介绍了 ChatGPT 的能力特征、发展历程以及 OpenAI 一路走来所坚守的技术路线，并对 ChatGPT 出现之后 NLP 领域的范式转换进行了展望，即 ChatGPT 开启「文本生成 + 指令」的范式。 1、ChatGPT，不再「愚蠢」的人工智能 ChatGPT 的相关话题应该算是继 AlphaGo 以来，最出圈的人工智能热点了。简单来说，它是一个可以用自然语言对话的机器人，你可以问它任何问题（当然它有可能会答错，但你可以引导并纠正它），它都会以非常流畅、标准的自然语言回答你。不仅如此，它还能回答代码问题、数学问题等等，你可以和它在关于任何问题上聊得不亦乐乎。我们可以用一个经典的鸡兔同笼问题来感性地认识一下 ChatGPT 的能力：从这个回答可以观察到几个特点。首先是对自然语言的理解和转换为数学问题的能力，其次它通过将一个较为复杂的推理问题分步拆解，一步步获得最后的答案。这个能力被业内称作「思维链」（Chain of thought）。接下来换一下问法，看看它会怎么回答。从这个图中可以发现，ChatGPT 对自己所说的内容是有感知的，并且可以给出这么说的原因。另外也可以发现，它确实也会出错（第一次计算耳朵数量错了。此处有个冷知识，鸡是有类似于「耳朵」一样的功能器官），但可以通过引导的方式让它给出正确的答案，并且会告诉你自己为什么错了。如果不事先告诉你这是一个人工智能模型，ChatGPT 给人的感觉确实像一个真正有逻辑思维和语言交流能力的真人。它的出现第一次让大家觉得，人工智能似乎终于能够和人正常交流了，虽然有时候会出错，但在交流的过程中至少没有语言和逻辑上的障碍，它能「懂」你在说什么，并且按照人类的思维模式和语言规范给你反馈。这种非常智能的体验感，是它突破业界小圈子，给大众带来冲击感的原因。这里还希望再次强调这种体验感的问题，因为也许过去业界由于技术的限制，为了完成场景中的特定任务而忽略了这一点。如今 ChatGPT 的出现代表了人工智能不再是过去那种「有用，但是也挺蠢」的形态了。为了更好地理解 ChatGPT 这种非常智能的感觉是怎么产生的，难免要从过去那种「很蠢」的人工智能说起。准确地说，ChatGPT 背后使用的依然是自然语言处理（NLP）技术，但却打破了原有的范式。要理解这一点，可以先看看目前的主流做法是怎样的。人类交流依托的是语言，甚至也有很多人认为人类的思维也是建立在语言上的。因此，理解运用自然语言一直是人工智能的重要课题。但语言实在太复杂，因此为了让计算机理解运用语言，通常会将这个过程拆分为很多的细分项，这就是在技术领域中常说的「任务」。举几个例子：情感分析任务，针对的是理解语言所蕴含的情感倾向；句法分析任务，针对的是分析文本的语言学结构；实体识别任务，针对的是从文本中定位出实体片段，例如地址、名字等等；实体连接任务，针对的是从文本中抽取出实体间的关系；这样的任务还有很多，都是从某个细分的侧面去对自然语言进行分析、处理。这样做有很多好处，比如有了这些拆分，就可以从不同的维度来考察一个自然语言处理系统的细分能力；也可以针对某一个细分的项专门做系统或者模型的设计等。从技术的角度来说，将一个复杂的任务（理解并运用自然语言）拆分为很多的简单任务（各种各样的 NLP 任务）确实是一种比较典型的解决复杂问题的路径，这也是目前的主流做法。然而在 ChatGPT 出现之后，以马后炮视角去看，也许在让计算机理解并运用自然语言这条路上，这种拆分并不是最有效的途径。因为在单个任务上的优秀表现，并不能代表系统就掌握了自然语言。人对于人工智能体的「智能感」，是基于对它应用自然语言的整体能力而产生的，这一点在 ChatGPT 上有明显的体现。虽然 OpenAI 没有开放 ChatGPT 的 API 服务，外界还无法测评它在各个细分 NLP 任务上的具体效果，但以过往外界对它的前身 GPT-3、InstructGPT 等模型的测试情况表明，对于某些特定的任务，一个用专门数据精调过的小模型，确实可以获得更好的效果（详细分析请参考《深入理解语言模型的突现能力》）。但这些在单个任务上有更好表现的小模型，并没有引起很大的出圈效应。归根结底，是因为它们只有单一的能力。单个的能力出众并不能代表它们具有了理解和运用自然语言的能力，从而也无法独自在实际应用场景中发挥作用。正因如此，通常在一个真实的应用场景中，都是多个具有单点能力的模块经过人为的设计拼凑而成，这种人为的拼凑方式是过去的人工智能系统让人感觉并不智能的原因之一。从人类理解和运用自然语言的视角去看，这个现象其实很好理解。普通人在理解、运用自然语言的时候，并不会在脑内将它拆分为很多步不同的任务，逐个任务进行分析，然后再汇总，这不是人类使用自然语言的方式。就好比一个人，在听到一句话的时候，并不会对它的句法结构、实体内容与关系、情感倾向等这些内容逐一分析，然后拼凑出这句话的含义，人对语言的理解过程是一个整体过程。再进一步，人对这句话的整体理解，会以自然语言的形式，通过回复的方式整体地表现出来。这个过程并不是像人工智能系统那样，拆分单个任务，然后逐一输出情感分析的标签、实体信息的片段、或是别的某个单个任务的结果，然后用这些东西拼凑出回复。而以 ChatGPT 为代表，GPT 系列模型所做的事情才真正接近了人类理解和运用语言的能力 —— 直接接收自然语言，然后直接回复自然语言，并保证了语言的流畅性与逻辑性。这是人与人的交流方式，所以大家对它抱以「很智能」的体验感。也许很多人会认为，如果能做到 ChatGPT 这样当然很好，过去那种对任务的拆分是因为技术的限制不得已而为之。从技术应用的视角来看，这样迂回的方式当然是需要的，这种方法也在很长的一段时间内被采用，并且确实也能够解决很多实际场景中的问题。但如果回顾 GPT 系列模型的发展过程，就会发现 OpenAI「赌」了另一条路，并且他们「赌」赢了。 2、OpenAI 的「赌局」 GPT 初代，一切开始的地方早在 2018 年，OpenAI 就发布了最初版本的 GPT 模型，从 OpenAI 公开的论文（Improving Language Understanding by Generative Pre-Training）可以了解到，这个模型采用了 12 层的 Transformer Decoder 结构，用了大约 5GB 的无监督文本数据进行语言模型任务的训练。虽然初代 GPT 模型采用的就已经是生成式的预训练（这也是 GPT 名字的由来，Generative Pre-Training，即生成式预训练），但使用的是无监督预训练 + 下游任务微调的范式。这一范式其实并不是什么新的发明，它在 CV（计算机视觉）领域已经有比较广泛的应用，只是由于当年 ELMo 模型的出色表现，把它重新「介绍」到了 NLP 领域。 GPT 模型的出现在那一年确实引来了一些业内的关注，但它并不是那一年的 C 位主角。因为就在同年，Google 的 BERT 模型横空出世，以优异的效果吸引了几乎全部的目光（这个景象有点像现在的 ChatGPT，不禁感叹 Google 和 OpenAI 之间的「恩恩怨怨」真是天道好轮回）。图片来自 BERT 论文，从图示中可以一窥当年 BERT 对标的就是 GPT，并引以为傲地指出双向编码能力。 BERT 模型虽然也是采用和 GPT 一样的 Transformer 模型结构，但它几乎就是为「无监督预训练 + 下游任务微调」的范式量身定制的模型。和 GPT 相比，BERT 所使用的掩码语言模型任务（Masked Language Model）虽然让它失去了直接生成文本的能力，但换来的是双向编码的能力，这让模型拥有了更强的文本编码性能，直接的体现则是下游任务效果的大幅提升。而 GPT 为了保留生成文本的能力，只能采用单向编码。以当年的眼光来看，BERT 绝对是一个更加优秀的模型。因为既然 BERT 和 GPT 两者都是采用「预训练 + 微调」的范式，并且下游任务依然是分类、匹配、序列标注等等「经典」的 NLP 任务形式，那么像 BERT 模型这种更注重特征编码的质量，下游任务选一个合适的损失函数去配合任务做微调，显然比 GPT 这种以文本生成方式去「迂回地」完成这些任务更加直接。从 BERT 模型出来以后，「无监督训练 + 下游任务微调」的范式便奠定了它的霸主地位，各类沿着 BERT 的思路，琢磨「如何获得更好的文本特征编码」的方法大量涌现，以至于 GPT 这个以生成式任务为目标的模型显得像一个「异类」。马后炮地说，如果当时 OpenAI「顺应大势」，放弃生成式预训练这条路，也许我们要等更长的时间才能见到 ChatGPT 这样的模型。 GPT-2 带来的希望当然，我们现在见到了 ChatGPT，所以 OpenAI 没有放弃生成式预训练的路线。实际上坚持的「回报」隐约出现在了第二年，也就是 2019 年。OpenAI 发布了有 48 层 Transformer 结构的 GPT-2 模型。在发布的论文（Language Models are Unsupervised Multitask Learners）中，他们发现通过无监督数据配合生成式训练后，GPT 展示出了零样本（zero-shot）的多任务能力。而奇妙的是，这些多任务的能力并不是显式地、人为地加入到训练数据中的。用通俗的话来举个例子，GPT-2 其中一个展示出来的能力是做翻译，但令人吃惊的是，通常专门用来做翻译的模型是需要大量的平行语料（即两种不同语种之间配对的数据）进行监督训练，但 GPT-2 并没有使用这种数据，而仅仅是在大量的语料上进行生成式的训练，然后它就「突然」会做翻译了。这个发现或多或少地带有点颠覆性的意味，它向人们展示了三个重要的现象：想让模型去完成一种 NLP 任务，也许并不需要和任务匹配的标注数据。例如 GPT-2 训练时没有用标注的翻译数据，但它会做翻译；想让模型去完成一种 NLP 任务，也许并不需要和任务匹配的训练目标。例如 GPT-2 训练的时候并没有设计翻译任务和相关的损失函数，它只是在做语言模型任务。仅仅用语言模型任务（即生成式任务）训练的模型，也可以具有多任务的能力。例如 GPT-2 展现出了翻译、问答、阅读理解等等的能力。虽然以现在的眼光来看，当时的 GPT-2 所展示出来的各种能力还比较初级，效果距离使用监督数据微调后的一些其它模型还有明显的差距，但这并没有妨碍 OpenAI 对它所蕴含的潜在能力充满期待，以至于在论文摘要中的最后一句话中，他们提出了对 GPT 系列模型未来的期望： “These findings suggest a promising path towards building language processing systems which learn to perform tasks from their naturally occurring demonstrations.” 后来一系列事情的发展也证明了他们确实是一直朝着这个 promising path 的方向在前进。如果说在 2018 年，GPT 初代模型出来的时候，GPT 的生成式预训练还面临着被 BERT 这类以「提取特征」为目地的预训练模型在各方面碾压，那么在 GPT-2 中的发现，给了生成式预训练一个 BERT 类模型无法替代的潜在优势，即语言模型任务所带来的多任务能力，且这种多任务能力是无需标注数据的。当然，在那个时间点上，生成式的技术路径依然面临风险和挑战。毕竟当时的 GPT-2 在各任务上的表现还是差于经过微调的模型，这导致了 GPT-2 虽然有着翻译、摘要等等能力，但效果太差以至于无法实际使用。因此，如果在当时想要一个可用的翻译模型，最好的选择依然是老老实实用标注数据训练一个专门用来翻译的模型。 GPT-3，数据飞轮的开始从 ChatGPT 时代往回看，也许 OpenAI 在 GPT-2 中的发现确实坚定了他们对 GPT 系列模型的信心，并决定加大研发投入力度。因为在随后的 2020 年他们发布了 1750 亿参数量的 GPT-3，一个即便以现在的眼光去看也大得让人惊叹的模型。虽然 OpenAI 没有明确公开训练这个模型的费用，但大家的估算是当时花了 1200 万美元。同时公开的还有一篇长达 60 多页的论文（Language Models are Few-Shot Learners），其中详细阐述了这个新的庞然巨物所展示出来的新能力。最重要的发现莫过于论文标题中所说的，语言模型具有小样本（few-shot）学习的能力。小样本学习是一个机器学习领域的专业术语，但它有着很朴素的理念，即「人类是可以通过少量的几个例子就学会一个新的语言任务」。想象一下在语文课上学习怎么掌握「把」字句换成「被」字句样（雨把衣服淋湿了 —— 衣服被雨淋湿了）的情形，老师会给出几个例子，同学们就能够掌握这项能力。但对于深度学习模型来说，它通常需要学习（训练）成千上万的例子才能掌握一项新的能力，但大家发现 GPT-3 却像人类一样具有类似的能力。而且重点在于，只需要给它展示几个例子，它就会「有样学样」地完成例子给出的任务，而不需要进行额外的训练（即不需要进行常规训练中的梯度反传和参数更新）。后来的研究表明，这种能力是巨型模型所特有的，被业内叫做「在上下文中学习」（in context learning）的能力。 GPT-3 论文中所展示的英语翻译法语的 In context learning 能力。实际上，小样本学习能力本身并不是很惊人的发现。毕竟业内一直都在对小样本学习进行研究，很多专攻小样本学习的模型都有出色的小样本学习能力。但 GPT-3 展示出来的这种「在上下文中学习」的小样本能力却非常出人意料，其原因也和 GPT-2 所展示的多任务能力一样： GPT-3 并没有为了获得小样本的能力而在训练数据、训练方式上做特别的设计，它依然只是一个用语言模型任务训练的生成式模型； GPT-3 的小样本能力是以「在上下文中学习」的方式展现出来的。换句话说，想让它获得新的能力，不需要对它再训练，而只需要给它看几个示范的例子。除了这个能力以外，GPT-3 还展示出了优秀的文本生成能力，相比 GPT-2，它生成的内容更加流畅，而且可以生成很长的内容。这些能力综合体现在一个模型上，让 GPT-3 在当时成为了大家的关注焦点，它也成为 OpenAI 正式对外提供服务的模型。但随着这个模型服务的开放，越来越多的人尝试使用这个模型。从这时起，OpenAI 通过开放给公众的方式，同时也在收集着更具有多样性的数据（用户使用时输入的内容可能会被用于模型的训练，这一点是写在用户条款中的），这些数据在后来的模型迭代中也发挥着重要的作用。自此 GPT 系列模型的数据飞轮便转动了起来，越多优质的用户数据，迭代出效果越好的模型。与 ChatGPT 不同的是，GTP-3 并不是采用对话的形式交互的模型，而是一个文本的续写模型（也就是在你输入的文字后面接着往下写），因此它并不具备如今的 ChatGPT 所拥有的多轮对话能力。但它已经能够干很多的事情，例如编写故事、给邮件做自动补全等等。但同时，大家也慢慢发现了一些问题，例如它会一本正经地输出不符合事实的内容，并且会输出一些有害的言论等等。这是这种文本生成模型最突出的弊端，虽然经过多次迭代，但 ChatGPT 如今也依然面临类似的问题。 CodeX，让计算机自己写代码 OpenAI 在对 GPT-3 的研究中还有一个意外的发现，它能够根据一些注释生成很简单的代码。因此在随后的 2021 年，他们对生成代码这件事情进行了专门的研究投入，并发布了 CodeX 模型。它可以看作是一个有着代码专精能力的 GPT 模型，能够根据自然语言输入生成比较复杂的代码。从外部视角来看，我们无法判断代码生成的研究与 GPT 系列模型的研发是否在同时进行。但放在当时，让模型具有生成代码的能力，从实用化的角度来说确实更加具有意义，毕竟 GPT-3 还未拥有如今 ChatGPT 这般强悍的能力。另一方面，让模型去生成代码也能规避它生成有危害文本内容带来的风险。在 CodeX 论文中提及了几个要点，首先是让经过文本数据预训练的 GPT 模型在专门的代码数据（数据来自 github 的开源代码，一共 159G）上训练确实能够明显提升模型对代码的理解和输出能力。其次是论文中用的是一个 120 亿参数的「小」模型，这个信息从侧面反映出 OpenAI 内部除了对外开放接口的 1750 亿参数的 GPT-3 模型外，还有别的不同大小的模型版本。而加入代码训练，让模型获得理解和生成代码的决定，原本的初衷也许只是希望 GPT 能够多一种应用场景。它看似与 GPT 系列模型在理解和运用自然语言的能力没有太大的联系，但根据后续的研究（详细的分析请参考文章《拆解追溯 GPT-3.5 各项能力的起源》），增加对代码数据的训练很有可能触发了后来的 GPT 模型在自然语言上的复杂推理和思维链的能力。也许在 OpenAI 做 CodeX 之初并没有预料到会有这样的结果，但就像他们一直使用文本生成任务来做 GPT 模型，然后在 GPT-2 和 GPT-3 中「解锁」了「多任务的能力」和「在上下文中学习的能力」那样，代码数据的引入又一次让他们获得了意料之外的收获。虽然看上去似乎有一些偶然，但对技术路线的前瞻性认知，加上坚持与持续的投入显然是一个至关重要的因素。 InstructGPT，让 GPT 好好说话在前面我们提到了 GPT-3 虽然已经有很强的能力，但上线以后随着使用的人越来越多，也发现了很多问题，最严重的应该要数「一本正经地胡说八道」和「输出带有危害性的内容」这两点了。虽然在 2021 年 OpenAI 似乎暂时将重点放在了让模型理解和生成代码这件事情上，但他们应该一直在尝试解决 GPT-3 的这些问题。在 2022 年初，OpenAI 发表了 InstructGPT 的论文（Training language models to follow instructions with human feedback），从中我们可以一窥解决这些问题的方法。论文的核心理念是让模型接受人类的教导（反馈），这一点在标题中就已经开宗明义了。 GPT-3 之所以会出现「一本正经地胡说八道」和「输出有害的内容」这样的问题，其根源来自于它所使用的训练数据。像 GPT-3 这样的庞然大物，对数据的需求量是海量的。我们从 GPT-3 的论文中可以找到它的数据来源，大致可以划分为三类：网页内容、百科内容以及书籍。虽然网页内容的量非常大，但也非常「脏、乱、差」，自然会包含很多非真实性和有害的内容。GPT-3 在这些数据上进行训练，自然也就学到了这些东西。但作为一款对外提供服务的产品，GPT-3 的回答应该更小心一些。要解决这个问题，其中的一难点在于怎么去定义模型应该怎么说话。因为生成模型的输出内容是自然语言本身，而不是一个分类的标签或一个实体名词这种有明确的、客观对错的内容。没有明确的对错，就导致无法像训练经典的 NLP 模型那样直接针对目标设计训练任务。而 InstructGPT 给出的解决思路是非常直接的，既然对于「好的回答」这个评价指标有很多不同的影响因素，这些因素又相互交织在一起，那就让人来教它怎么写回答。因为人类是比较善于处理这种「既有明确的要求，又有模糊的范围」的问题的，让真人写一些「优秀范例」，让模型去学习这些「优秀范例」，这正是 InstructGPT 提出的总体思路。具体而言，InstructGPT 提出了两个阶段的路径来让 GPT 学习人类给出的「优秀范例」，第一阶段是监督学习，第二阶段是强化学习。在第一阶段中（对应下图中最左边的 Step 1），让真人根据不同的 Prompt（粗浅可以认为是我们使用 ChatGPT 时，在对话框里输入的那条文本，在业界这个东西叫做指令）写真实的、无害的、有用的回答。实际操作过程中，为了保证这些内容的质量，会给写回答的标注人员一些规范性的指引，然后让已经经过预训练的 GPT 模型在这些人类编辑的数据上继续训练。这一阶段可以看作是对模型的一种「规训」，用一个不严谨的类比来说，就像语文老师让你默写优秀范文那样。图片来自 InstructGPT 论文，提出通过监督式的指令微调 + 人类反馈的强化学习来让模型的输出变得合理。第二阶段是强化学习，技术上分为两步。第一步（对应上图中间的 Step 2）是让被「规训」后的模型根据不同的 Prompt 生成多个不同的回答，并由人来给这些回答按照好与差的标准来排序。然后用这些标注了优劣之分的数据训练一个打分模型，让它可以自动给更多的数据进行排序打分。强化学习阶段的第二步（对应上图中右边的 Step 3）就是利用这个打分模型作为强化学习中的环境反馈，以策略梯度（Policy Gradient，准确地说是 PPO 算法）的方式对已经「规训」后的 GPT 模型进行训练。整个第二阶段的过程可以看作是对模型的一种「强化」，再用一个不严谨的类比来说，就像语文老师给你写的作文打分，让你从分数中分辨什么是好与不好，然后不断进步。因此，用一种非常不严谨，但普通人或许也能够理解的方式来说，InstructGPT 先是让一个「口无遮拦」的 GPT 通过「默写人类的优秀范文」的方式初步学会「好好说话」，然后再「给它独自写出来的东西打个分，让它回去好好领悟，继续进步」。当然，在技术上牵涉事情会更复杂一些，比如「优秀范文」的具体规范和数量等数据上的问题，以及强化学习中打分模型的选择，算法参数的设置等算法上的问题，都会对最后的效果产生影响。但最终的结果表明，这种方式是非常有效的，论文中也指出一个通过上述方式训练出来的 13 亿的小模型，效果就能够超过没有经过这种训练的更大的模型。另外论文中还有一些非常值得一提的内容。首先是关于 Prompt 的一些发现。InstructGPT 训练时所使用的 Prompt 主要由两部分构成，一部分是专门的 AI 训练师编写的，另一部分自来 OpenAI 的模型在线服务期间，由用户使用中编写的内容，这时数据飞轮的作用就体现了。可以发现，无论是哪种，这些 Prompt 都是由真人写出来的，虽然文章中没有对这些 Prompt 的具体涵盖范围、分布情况以及提问的方式展开详细的分析，但可以合理地猜测这些 Prompt 具有一定的多样性和较高的质量。其实文章中对比了使用这些真人编写的 Prompt 训练的模型和使用一些开源 NLP 任务数据集中构建的 Prompt（例如 T0 数据集、FLAN 数据集）训练出来的模型，结论是由真人编写 Prompt 训练出来的模型，给出的答案更加能被评测的人接受。另外一点是关于训练好的模型对新的 Prompt 的泛化能力的问题，可想而知的是，如果训练完成的模型无法产生 Prompt 的泛化能力，那么现在 ChatGPT 所表现出来的，几乎百问百答的能力是不太可能产生的。因为在模型做微调的阶段，即便是再多的数据，也不可能把人们有可能会输入的内容都覆盖完整。而 InstrctGPT 论文中点明了文中所采用的方法是可以产生 Prompt 的泛化能力的。之所以花了更多的文字对 InstructGPT 做介绍，因为根据 ChatGPT 官方页面的介绍，InstructGPT 中的方法正是用来训练 ChatGPT 的方法，不同的只是 ChatGPT 使用了对话式的数据组织方式。 GPT-3.5 时代和 ChatGPT 的诞生在随后的时间内，OpenAI 发布了多个被称为 GPT-3.5 系列的模型，虽然这些模型并未有相关的论文跟随发表，但根据这篇文章的分析，GPT-3.5 系列应该是融合了 OpenAI 在 GPT-3 时代积累的技术、数据以及经验开发出来的。由于没有详细的官方公开信息参考，关于这些模型的具体资料，外界主要是通过分析使用的体验、相关的技术论文以及 OpenAI 的 API 文档介绍来进行推测。根据分析，GPT-3.5 系列的模型有可能并不是在 GPT-3 上继续微调而来，而很可能是将代码和自然语言的数据融合在一起，重新从零开始训练了一个基础模型。这个模型可能比 GPT-3 的 1750 亿参数量更大，它在 OpenAI 的 API 中被命名为 codex-davinci-002。然后在这个基础模型上，通过指令微调和人类反馈得到了一系列后续的模型，包括 ChatGPT。 GPT 系列模型的发展路径。简要地说，从 code-davince-002 这个模型开始，经过有监督的指令微调得到 text-davinci-002。以及后续的 text-davinci-003 和 ChatGPT，也是在 GPT-3.5 系列的某个模型上通过指令微调以及人类强化学习反馈得到的。并且 text-davinci-003 和 ChatGPT 都是在 2022 年 11 月发布的，不同的是 text-davinci-003 和 GPT-3 一样，是一个文本补全模型。而根据 ChatGPT 的官方介绍，它是通过将过往的数据处理成对话交互的形式，并增加了新的对话数据训练出来的。至此，我们大致回顾了 OpenAI GPT 系列模型从 2018 年的初代 GPT 到现在的 ChatGPT，一路发展迭代的过程。在这个过程中，OpenAI 一直保持着对生成式预训练模型这一技术路径的「执拗」，并且也一直从不断发展的 NLP 技术中吸纳新的方法，从最初的 Transformer 模型结构，到后来的指令微调（Prompt tuning）等技术的出现，这些因素共同促成了如今 ChatGPT 的成功。有了对 GPT 系列模型发展的了解，我们可以再回过头来看看如今的 ChatGPT。 3、走近再看 ChatGPT 在第一章节中我们阐述了 ChatGPT 出圈的原因主要是：「它以流畅、符合逻辑的自然语言来反馈人类对它输入的自然语言」，从而给与它交流的人带来了很强的「智能感」。在第二章节中通过回顾 GPT 系列模型的发展历史来了解 ChatGPT 成功之路。而这一章节会尝试以尽可能让圈外人都能理解的方式，稍微深入一些技术的内容，并且探讨一下当前的一些大型文本生成式模型为什么未能做到相同的效果。这一部份的主要参考来自于《深入理解语言模型的突现能力》和《拆解追溯 GPT-3.5 各项能力的起源》这两篇文章以及相关的一些论文，建议希望详细了解细节的读者阅读原文。虽然在第一章中指出，ChatGPT 所带来的惊艳效果是由许多不同的 NLP 任务综合体现出来的，但在分析它背后的技术时，还是通过将它的能力进行拆解会更加清晰明了一些。总体而言，ChatGPT 所体现出来的能力可以大致划分为以下几个维度： - 文本生成的能力：ChatGPT 的所有输出都是即使生成出来的文本，所以文本生成的能力是它最基本的要求。这一项能力实际上是来自于它的训练方式，ChatGPT 在预训练时，是一个标准的自回归语言模型任务，这是 OpenAI 所有 GPT 系列模型的基底。所谓的自回归语言模型任务，通俗的理解是这样的：它可以根据已经输入的文本，预测下一个 token 应该是什么。这里所说的 token，所代表的是模型所使用的最小单位的字符片段，它可以是字（在中文里采用字是很常见的），也可以是词（英文的每个词天然地被空格隔开了，所以常采用词），甚至是字母。但现在的方法通常采用的是子词（subword，介于字母和词之间，主要的目的是减少词表数量）。但不论是哪种，自回归语言模型任务的基本思路都是根据已经输入的文本，预测下一个要输出的文本是什么，就像下图的例子中那样：这个例子中，BOS 代表了输入的开头，而每个 token 是一个词，GPT 模型根据输入的「今天」和「天气」两个词，预测下一个要输出的是「不错」。在训练的时候，会准备很多文本数据，比如网页上的文章、各类书籍等等，只要是正常的文字内容，都可以用来训练。值得说明的是，这种数据不需要进行额外的人工标注，因为这类数据本来就是人写的，模型要做的事情就是根据这些人写出的文本，去学习「给定了前面的文字，接着这些文字后面这个地方应该是什么」的问题。这便是业内所称的「无监督训练」，实际上模型并不是真的没有监督（不然模型学什么呢？），只是它的数据不需要额外的人工标注。也正因为这个任务是不需要额外标注的，因此可以「免费」获得大量的数据，得益于互联网的普及，可以「轻松地」获得海量的由真人写出的文本内容用来训练。这一点也是 GPT 系列模型的特点之一，用海量的数据，去训练很大的模型。那么在我们使用 ChatGPT 的时候，它是怎么工作的呢？其实也和它的训练方式一样，模型会根据我们在对话框里输入的内容，去预测接在这些内容的下一个 token 是什么，得到这个 token 后，会将它与前面的内容拼接成一个新的文本给模型，模型再预测下一个 token，如此反复，直到满足某个条件后停止。这个停止的条件有很多不同的设计方式，比如可以是输出的文本达到特定的长度，又或者是模型预测出某个用来代表停止的特殊 token。另外值得一提的是，模型预测下一个 token 时，其实背地里是一个采样的过程。换句话说，模型在预测 token 时，输出的其实是所有可能出现的 token 的概率，然后从这个概率分布里采样一个 token。因此，在使用 ChatGPT 时，会发现即便对于相同的输入，它的输出每次也会不一样，因为在背地里它采样了不一样的 token 作为输出。了解这些之后，可以再回过头来思考一下模型在学什么。它在学习怎么回答问答吗？又或者说它在学习怎么理解自然语言所蕴含的信息、逻辑、情感？还是说它在学习海量的知识？从训练任务的设计来看，似乎都没有，它只是从海量的文本数据里，学习了「根据输入的这些文本，一个人类在后面会接着写什么」这件事。但正是这样的模型，在「进化」到 ChatGPT 时，它却掌握了丰富的知识、复杂的逻辑推理等等，它似乎掌握了一个人类运用语言所需要的几乎所有的能力。这是一件非常神奇的事情，它的「进化」历程将会在下一章节中做更加深入的介绍。 - 丰富的知识储备：ChatGPT 能够正确回答非常多的问题，包括历史、文学、数学、物理、编程等等。因为目前版本的 ChatGPT 并没有利用外部知识，因此这些知识的内容是「储存」在模型内部的。 ChatGPT 所拥有的丰富知识储备，来自于它的训练数据，以及它足够大的体量，以便学会这些内容。虽然官方并没有公开 ChatGPT 所使用的训练数据的具体细节，但从它的前身 GPT-3 的论文可以推测，这些数据大致可以分为三个大的范畴：网页内容、书籍内容以及百科内容。可想而知的是，这些内容天然地蕴含了大量的知识，百科和书籍自然不必说，而网页内容也包含了许多新闻、评论、观点等，并且网页也包括了很多专门的问答垂直类网站，这些都是 ChatGPT 的知识来源。在官方的介绍里指出 ChatGPT 无法回答 2021 年以后发生的事情，因此合理的猜测是训练的数据收集截止到 2021 年。但数据量只是其中一个方面，要让模型「掌握」这些数据，其自身的体量是不可能小的。以 GPT-3 为例，它有 1750 亿参数，可以粗浅地理解为，这些数据的内容以及模型的各项能力，都以这一个个参数的具体数值的形式，固定在了训练完成的模型中。感性的理解是，假设一个模型只有 1 个参数，那它什么也干不了。更严谨的分析和对比可以参考这篇论文《Holistic Evaluation of Language Models》的测评，方向性的结论是越大的模型，在需要知识来完成的任务上表现得越好。论文地址：https://arxiv.org/pdf/2211.09110.pdf - 逻辑推理与思维链的能力：从第一章图片中的鸡兔同笼的例子可以看出，ChatGPT 具有很强的逻辑推理能力。并且它能够将复杂的内容，通过拆解，分成多个小的步骤，一步步地进行推理，获得最后的答案，这种能力被称为思维链。从前面的介绍我们知道，模型在训练的时候并没有针对逻辑推理以及思维链做特定的设计。而当前的主流观点认为，逻辑推理和思维链很可能和两个因素相关，第一个是模型的体量，第二个是模型是否在代码数据上进行过训练。关于模型体量与推理、思维链能力的关系，在《深入理解语言模型的突现能力》中有对应的介绍。下面这张图展示了思维链能力与模型体量的关系。不同模型不同尺寸的思维链效果对比，图来自论文。GSM8K，SVAMP 和 MAWPS 是三个需要逻辑推理的数学应用题数据集，LaMDA，GPT 和 PaLM 分别是 3 个不同的模型。简要地说，图表中给出了三个不同的模型，在三个数学应用题数据集上的答对率。而值得关注的是以下几个方面：思维链的能力（蓝色实线）在模型体量够大的时候产生了效果上的突变；思维链的能力在模型够大的前提下，效果超过了标准的指令（Standard prompting，黑色实线）方法；思维链的能力在模型够大的情况下，可以接近甚至超过有监督的方法（橙色虚线）。用通俗的话来说，就是在模型足够大的时候，思维链的能力突然展现了出来，能够达到、甚至超过那些在推理数据集上专门进行有监督训练的模型。这个图也许部分解释了现在我们看到的 ChatGPT 所具有的优异推理和思维链能力。而另一个关于推理以及思维链能力的产生因素，与模型是否在代码数据上做过训练有关。目前这一点只是一个推论，《拆解追溯 GPT-3.5 各项能力的起源》中的分析表明体量类似的大型模型，没有在代码上做过训练的话，只有很弱或几乎没有思维链和推理能力。而 ChatGPT 确实是在代码数据上进行过训练的，这一点从它能够理解并生成代码也可以看出来。在第二章回顾发展历程中提到了，OpenAI 在 2021 年就发布了专门针对代码的 CodeX 模型，将代码数据加入 GPT 的训练数据应该就是从那时开始的。 - 按照人的提问或者指令给予回复的能力：ChatGPT 除了可以用狭义的基于「问答」形式的交互以外，还能够按照输入的要求进行回复。例如，在应对「帮我写一封信」这类指令式的要求时，它同样也展现出了优秀的能力。这种能力让它不仅是一个提供答案的「高级搜索引擎」，更是一种可以用自然语言来交互的文字处理工具。虽然目前大众普遍把目光聚焦在将 ChatGPT 作为一种类搜索引擎的工具，但查阅相关知识并给予回答并不是它的唯一能力。实际上，单就 ChatGPT 本身而言，回答知识性的问题并不是它的强项，毕竟它本身的训练数据被定格在了 2021 年。即便用更新的数据去训练，但它终究跟不上时事的变化，因此要将它用作知识性的问答工具，还是需要与搜索引擎等外部知识源做结合，就像现在 Bing 做的一样。但换一个角度来看，ChatGPT 像是一个「语言完备」的文本工具，也就是它能够按照你给它的要求，完成指定的、可以用文本形式表达出来的内容，就像下面这个例子。按照给定的计划内容生成英文邮件进行汇报。这里所说的「语言完备」，指的是运用语言的能力。可以看出上面这个例子里，其实不涉及知识性的内容，因为需要它写的内容已经提供给它了。但要写出这封邮件，涉及到的是运用语言的能力，比如遣词造句、语种切换、邮件格式等等。现在我们回过头来，尝试分析它的这种「按照指令完成任务」的能力是怎么获得的。在学界中，这种指令被称为 prompt，实际上对话中的用户输入、问答中的问题也是一种 prompt，因此可以粗浅地理解为，在聊天框里输入的所有内容都是 prompt。如果了解我们在本章第一节介绍语言模型的内容，那么更严谨一些的说法应该是「输入给模型的上文」都是 prompt。 ChatGPT 根据输入的指令（prompt）进行回复的能力，是来自于一种被称为指令微调的模型训练方式（prompt tuning）。其实原理很简单，模型依然还是「根据输入的内容，预测下一个 token 是什么」，只是在指令微调的阶段，输入的内容被换成了这些事先写好的 prompt，而 prompt 后面需要生成的内容，则是事先写好的答案。因此在这一阶段和一开始所说的无监督自回归语言模型训练，最大的不同在于数据。这里的数据，也就是 prompt 以及对应的回复，都是人写的，换句话说，这一阶段用的是人工标注的数据进行的监督训练。提到人工标注的数据，就自然牵涉到了所需要的数据量了，因为每一条标注数据都是需要成本的。如果是不需要标注（就像第一阶段的训练），那么自然有海量的文本数据可供训练，但如果要标注，那到底需要多少这种数据呢？要知道，让标注人员手写一个 prompt，然后再手写一个几百字的、真实详尽的回答，成本是很高的。根据论文《Training language models to follow instructions with human feedback》的介绍，所需要的数据其实不需要太多（相比于无监督阶段所使用的数据来说）。虽然具体到 ChatGPT 到底使用了多少没有确切的信息公开，但可以确定的是在数量级上一定远比用来进行无监督训练的网页、百科和书籍所构成的数据集要小非常多。论文地址：https://arxiv.org/pdf/2203.02155.pdf 只需要相对少量的人工标注的 prompt 数据就能达到让模型按照指令做出回复的目的，这一点背后其实隐含了一个现象，在学界内被称为 prompt 的泛化能力。可以想象一下，如今全世界都在不停的向 ChatGPT 提问，所提的问题也必定是千奇百怪的，这些问题其实就是一个个的 prompt。但用来对 ChatGPT 进行指令微调的 prompt 肯定不会有这么多，这说明模型在学习到了一定量的 prompt 和相应的答案以后，它能够「举一反三」地对它没有见过的 prompt 进行回答，这就是 prompt 的泛化能力。文章《拆解追溯 GPT-3.5 各项能力的起源》分析指出，这种泛化能力与在指令微调阶段让模型学习的标注数据数量以及多样性相关。此外，用少量的 prompt 数据就能微调出类似于 ChatGPT 这样拥有强大能力的模型，背后还隐含了另一个猜测，即模型所表现出来的各项能力，可能在无监督训练的阶段就已经存在于模型当中了。其实这也很好理解，毕竟相比于无监督的数据，这些人工标注的 prompt 数量太少了，很难想象模型是通过对这些仅有的标注数据学习而产生了各种各样的能力。从这个角度来说，指令微调的过程更多只是让模型学会按一定的规范来进行回复，而它的知识、逻辑等能力是早已存在的。 - 「客观公正」的能力：如果对 ChatGPT 询问一些有害或者有争议的问题，可以看到 ChatGPT 的回答都是非常「小心」的，很像是经过训练的新闻发言人般的回答。虽然它目前依然做得不够好，但这种能力是 OpenAI 敢将它公开作为一款产品使用的核心因素。让模型的输出符合人类的价值观是 OpenAI 一直在做的事情。早在 2020 年 GPT-3 的时候，OpenAI 就发现这种通过网上的数据训练出来的模型，会生成带有歧视、危险、争议的内容。作为一个对外提供服务的产品，这些有害的内容显然是不合适的。而现在的 ChatGPT 在这一点上有着明显的改善，让模型做出这种「行为改变」的主要方法也来自于 InstructGPT 的论文，更确切地说，是通过有监督的指令微调加上人类反馈的强化学习共同完成的，这一点在第二章中也已经做过介绍了。通过上述的分析可以发现，从技术方法的角度来说，ChatGPT 相关的内容都是已知的，但为什么当前只有它拥有如此惊艳的表现呢。实际上从 ChatGPT 推出之后，NLP 社区就一直在分析这其中的原因，虽然很多结论是推测性的，但也为同类模型的国产化带来一些启示。模型体量的因素能力涌现出现的前提是模型体量达到一定的规模，虽然没有具体的指标指引，但从目前的事实情况来看，类似于思维链等比较「高级」的能力，需要在数百亿参数量以上的模型中才表现得足够优异。数据量的因素模型的大小不是唯一的因素。DeepMind 在这篇论文《Training Compute-Optimal Large Language Models》提供了一些分析性的结论，指出训练的数据量需要随着模型的体量相应地增加，更确切地说，是模型训练时「见过的 token」数量，需要随着模型体量增加。论文地址：https://arxiv.org/pdf/2203.15556.pdf 数据质量的因素对于无监督的数据，数据量相对而言并不是很大的障碍，但数据质量往往更加容易被忽视。实际上在 GPT-3 的论文中，就有专门的内容介绍数据的处理工作。为了清洗 GPT-3 的训练数据，OpenAI 专门训练了一个数据过滤模型，来从海量的网页数据中获取更高质量的数据。相比而言，与 GPT-3 体量相当的一些开源模型，例如 Meta 的 Opt 和 BigScience 的 Bloom，似乎没有进行这一步清洗。这也许是这两个开源模型效果劣于 GPT-3 的原因之一。此外，数据质量的衡量维度不是单一的，诸如数据的多样性、内容重复度以及数据的分布情况都是需要考虑的因素。例如虽然 GPT-3 所使用的网页、百科、书籍这三大类数据中，网页数据的总量是最多的，但在训练时这三类数据的采样并不是按照实际数据的多寡进行的。另外值得一提的是，在指令微调的阶段，采用人工编写指令也许是一个重要的影响因素。InstructGPT 的论文明确指出在测评过程中，采用人工编写的指令训练出来的模型，比采用现有的 NLP 数据集通过模版的方式构建指令训练出来的模型有更好的效果。这也许解释了在 T0、FLAN 等由 NLP 数据集构成的指令数据集训练出来的模型为什么效果会差一些。训练过程的影响这类巨型模型在训练时通过集群进行训练，同时采用数据并行、模型并行以及 ZeRO 优化器（一种降低训练过程显存占用的方法），这些方式为训练的稳定性引入了更多的变量。如下这篇分析指出甚至模型是否采用 bfloat16 精度都对结果有明显的影响。分析链接：https://jingfengyang.github.io/gpt 相信了解了上面的这些内容，大家对复刻一个类 ChatGPT 的方式以及会面临的问题会有一个大致的了解。有幸的是 OpenAI 已经证明了这技术路径是能够走通的，ChatGPT 的出现也确实正在改变 NLP 技术的发展走向。 4、未来的展望 ChatGPT 从 2022 年 11 月上线以来，引起了极大的关注。相信即便是非专业领域，甚至是与计算机也很少打交道的群体，或多或少地都知道它的存在，这个现象本身就已经反映出它的出现有些不同寻常。圈外的大众更多的是以好奇、惊讶或者惊叹的方式来感性地认识它的出现。而对从业者来说，它的出现更多的是对未来技术走向的思考。从技术的角度来说，ChatGPT 的出现标志着 NLP 领域的又一次范式切换。之所以说是「又」一次，是因为在 2018 年，也就是初代 GPT 发布的那一年，与之同年发布的 BERT 模型以自身优异的表现，开创了 NLP 的「预训练 + 微调」范式的时代，具体内容在第二章中已经做过介绍了。这里主要介绍由 ChatGPT 开启的「文本生成 + 指令」的范式。具体来说，就是利用训练好的 ChatGPT 或类似的文本生成模型，通过输入适当的指令（prompt）来完成某一项具体的场景。这种范式与此前的 NLP 技术应用有很大的不同。不论是早期的利用 LDA、RNN 等统计模型或很小的深度学习模型的时代，还是后来利用 BERT 等预训练配合微调的时代，技术所提供的能力是相对原子化的，距离实际的应用场景有一定的距离。就拿前面举的让 ChatGPT 根据要求写英文邮件的例子，按照此前的做法，可能需要先抽取实体、事件等内容（比如时间、地点、事件等），然后通过模版或是模型形成邮件的样式，再通过一个翻译模型转化为英文。当然如果数据量足够训练端到端模型的情况下，也可以跳过中间的若干步骤。但不论采用哪种方式，要么需要将最终的场景拆解成原子化的 NLP 任务，要么需要对应的标注数据。而对于 ChatGPT 来说，只需要一个合适的指令。三个阶段的 NLP 技术范式。这种生成式模型搭配 prompt 的方式，直接略过了中间的各项 NLP 能力组件，用最直接的方式解决应用场景的问题。在这种范式下，完成终端应用的技术路径将不再是用单点 NLP 能力模块通过搭积木的方式组合起来。当然，这个过程不是一蹴而就的，也不意味着 NLP 的单点能力变得不重要。从测评的角度来说，每一个单点能力的好坏依然可作为评价模型效果的指标。并且，就某些场景来说单点能力依旧是一个强需求。例如在订票系统中本身就需要针对时间、地点进行提取。但与此前不同的是，ChatGPT 本身也可以完成单点能力，而不需要使用额外的功能模块。 ChatGPT 进行信息提取。 ChatGPT 进行情感判断。从这个角度来说，可以把 ChatGPT 看作是一个以自然语言作为交互媒介的 NLP 工具。如果说在过去，我们是通过模型 + 数据 + 设计训练任务的方式来完成某项 NLP 能力，那么 ChatGPT 则是通过设计指令来完成这些能力。可想而知，ChatGPT 的出现大大降低了 NLP 技术的应用门槛。但它目前还不是全能的。最重要的一点在于它缺乏准确可靠的垂直领域知识，为了让它的回答可靠，最直接的方式是为它提供外部的知识来源，就像微软将 Bing 的搜索结果作为它回答的信息来源那样。因此，「传统」的 NLP 技术并不会就此完全消亡，而是会以「辅助」的角色，作为目前 ChatGPT 短板的补充，这也许会是未来 NLP 技术应用的新范式。来源：金色财经

金色财经2023-02-24

朱民：预计2025年中国的数据会超过美国，成为世界上最大的数据之国

发展的核心转移是GPT，是大模型，不是chatGPT，他认为要把所有的工作重点、赶超的重点、研究的重点放到大模型，放到GPT上来，而不是放在chatGPT。　　朱民坦言，在大模型上，我们是落后的，特别是美国对我们制裁以后，算力上的约束在赶超上的困难很大。但人工智能，也是在中国未来科技创新、经济金融发展的重要一战。　　“我们要围绕AI的2.0，重新制定自己的人工智能发展战略”，朱民强调，要发挥我国的数据优势。 “三年以后，预计2025年中国的数据会超过美国，成为世界上最大的数据之国”，他说，因为物联网的发展，中国的数据质量会很好，要让数据流动起来，变成资源、资产、财富。　　朱民说“让数据变成生产力是我们迎接科学革命、迎接大模型的最根本的一条，只有在这个基础上，我们才能把大模型的应用和商业化、企业化的发展结合起来，才能走上我们的赶超之路”。

金融界2023-02-24

收评：沪指跌0.62%创业板指跌超1%，北向资金连续三日净卖出

let等概念活跃。　　热点板块　　ChatGPT、人工智能概念小幅反弹，证通电子、网达软件涨停，鸿博股份触及涨停，神州数码、拓尔思、汤姆猫涨超5％；　　信创概念活跃，拓维信息涨停，中科曙光、雄帝科技、东方中科等亦有出色表现；　　CPO概念再度走高，剑桥科技涨停，天孚通信、中际旭创、锐捷网络纷纷上涨；　　《横琴金融30条》发布，华金资本一字涨停，汇金科技、珠海中富、世荣兆业不同程度上涨；　　宁夏瞄准ChatGPT运算能力开建GPU大算力基地，美利云一度涨停，宁夏建材、依米康、铜牛信息、首都在线跟涨；　　储能板块午后盘中拉升，三变科技涨停，江苏华辰、蓝科高新、泽宇智能、北京科锐等跟随走高；　　军工板块受关注，蓝盾光电涨超10％，天和防务、长城军工、上海沪工等涨超5％；　　证券行业调整，湘财股份尾盘触及跌停，华林证券、南京证券跌超2％；　　焦点个股　　被立案调查，奥联电子跌超11％；　　越博动力跌超9％，公司修正业绩，2022年度预亏1.47亿-1.78亿元；　　终止收购韩国COWIN100％股权事项，炬光科技涨停次日大跌6％；　　股东生物产业基金拟减持不超7.11％公司股份，陇神戎发跌近5％；　　机构观点　　东方证券表示，从外部因素看，外围市场波动、地缘政治冲突扰动A股走势，但在稳增长大背景下，经济稳步回升预期明确，为市场中长期上行提供了保障，短期休整不影响后市震荡攀升。随着“两会”临近，有强政策预期、盈利能力强的相关行业板块龙头股将受资金青睐，可积极逢低布局；近期炒作火爆的题材股也有望休整后卷土重来。　　国海证券认为，站在当前时点，无论主板后续能否完成向上的突破，整体当前的盘面仍以震荡结构性行情看待为宜，建议耐心等待低吸机会更为稳妥。　　中信建投建议，短线角度，对于高位股和前期过热的板块仍以回避为主，多关注低位股和两会政策预期板块。待经济数据公布后，可视数据的情况调整配置，经济修复超预期，利好价值和顺周期；经济弱复苏，利于成长和具有独立逻辑的板块；修复不及预期，利好地产、基建等稳增长领域。临近一季度业绩披露期时，提升对业绩的关注度，多寻找业绩拐点明确和增长超预期的标的。　　光大证券分析称，前期涨幅较大的概念面临着检验，建议控制仓位。相对规避随短期消息轮动的题材概念，继续布局具备长期确定成长性的新能源和新能源车赛道、大消费核心资产；受益于注册制+北交所做市制度利好的券商；以及高频数据回暖的地产链（装修建材、家电）等；另外ChatGPT概念作为增长空间巨大的科技标杆可高估，调整就是上车机会。

金融界2023-02-24

24小时热点