全球数字财富领导者
CoNET
|
客户端
|
旧版
|
北美站
|
FX168 全球视野 中文财经
首页
资讯
速递
行情
日历
数据
社区
视频
直播
点评旗舰店
商品
香港论坛
外汇开户
登录 / 注册
搜 索
综合
行情
速递
日历
话题
168人气号
文章
亚马逊加入生成式人工智能竞赛 服务云客户
go
lg
...
零售平台上搜索产品,还用于为Alexa
语音
助手
和其他应用增强功能。 “亚马逊投资这个领域已经很长时间了。” 西瓦苏布拉马尼安在受访时说。 在4月13日开始的试用期内,亚马逊网络服务的客户可以申请使用这些模型。西瓦苏布拉马尼安称,公司还没有确定模型的使用费定价,但包括Inferentia2和Trainium在内的公司自研芯片,将有助于客户用低成本执行自己的机器学习任务。 亚马逊还表示,个人开发者将可以免费使用CodeWhisperer。CodeWhisperer是一种人工智能编程辅助工具,开发人员输入代码时会主动给出提示。 “我不相信世界将会被一种模型统治。”西瓦苏布拉马尼安说。
lg
...
金融界
2023-04-15
从各国GPT语言模型的发展历史看透未来的发展趋势
go
lg
...
5年,LINE公司推出了基于深度学习的
语音
助手
“Clova”,加速了自然语言处理技术在日本的商业化应用。 2018年,日本东京大学的团队发表了一篇论文,提出了一种基于Transformer的语言模型,即BERT(Bidirectional Encoder Representations from Transformers),开创了预训练模型的新时代。 2021年8月,Rinna发布了一个名为GPT2-medium的模型,然后又在次年推出了日本版的GPT-2,参数达到13亿。目前已经是日本参数规模最大,最具代表性的大模型了。 韩国 韩国在语言模型领域的发展相对较晚,但随着信息技术的发展和韩国政府对人工智能的重视,该领域正在快速发展。 1994年,韩国信息通信部成立了自然语言处理研究室,开展了语言处理技术的研究。 2006年,KAIST(韩国科学技术院)成立了人工智能研究中心,致力于推动人工智能技术在韩国的发展。 2012年,Naver公司推出了智能
语音
助手
“Clova”,并开展了自然语言处理技术的研究。 2016年,韩国政府推出了“AI大师计划”,旨在培养具备人工智能领域专业知识和技能的人才,推动人工智能产业的发展。 2018年,KAIST研究团队开发了韩国首个基于深度学习的自然语言处理平台“KoNLPy”,为韩国语言处理技术的发展提供了支持。 2019年,Naver发布了韩国首个AI
语音
助手
“Wave”,成为韩国语音技术领域的一大突破。 2022年12月,LG集团的人工智能智库LG AI Research 推出了Exaone。这是一个拥有3000亿参数,使用图像和文本数据的多模态模型,也是目前韩国参数规模最大的模型。 总结 从以上各国的发展可以看出,美国是语言模型发展最早、最快的国家,早期在语言模型领域的重要人物包括香农、麦卡洛克等,后来发展出了许多具有代表性的语言模型,如LSTM、GPT等。 中国在语言模型领域的发展相对较晚,但近年来随着信息技术的快速发展和政府的大力支持,该领域取得了快速进展,如Baidu的“ERINE”、PaddlePaddle平台等。 日本在语言模型领域中也具有重要地位,早期主要在机器翻译技术方面有所突破,后来也逐渐转向深度学习技术的研究,如BERT模型。 韩国在语言模型领域的发展相对较晚,但近年来随着政府和企业的支持,该领域也在逐渐迎头赶上,在研发主力上更多偏向于财阀巨头。 从各国的人工智能语言模型的发展历程可以看出目前大数据语言模型的发展特点: 数据方面,从少量标注数据、大量标注数据、海量非标注数据+少量标注数据到海量非标注数据,越来越多数据被利用起来,人的介入越来越少,未来会有更多文本数据、更多其它形态的数据被用起来,更远的未来是任何我们能见到的电子数据,都应该让机器自己从中学到知识或能力。 算法方面,表达能力越来越强,规模越来越大,自主学习能力越来越强,从专用向通用,沿着这个趋势往后,未来Transformer预计够用,同时也需要替代Transformer的新型模型,逐步迈向通用人工智能。 人机关系方面,人的角色逐渐从教导者转向监督者,未来可能会从人机协作、机器向人学习,发展成人向机器学习,最后由机器拓展人类。 目前大数据语言模型的发展已经取得重大成就,随着技术的不断发展和,将必然朝着智能化、个性化、多样化、可靠性安全性和共享开放和发展。 来源:金色财经
lg
...
金色财经
2023-04-14
美股智能眼镜公司暴涨200%,A股消费电子板块受提振,雷柏科技涨停
go
lg
...
戴者能够听音乐、接听和拨打电话,并使用
语音
助手
来执行许多常见的智能手机任务。
lg
...
金融界
2023-04-12
赋能产业智能化!AI+概念股有哪些?
go
lg
...
前的“压缩版”——阿里版ChatGPT
语音
助手
在网上现身,天猫精灵团队通过音箱端接入阿里大模型,该智能音箱展示出较强的多轮对话、AIGC、个性化表达的能力。 这表明AI在C端个性化定制方面也有强大的赋能能力。 AI+概念股有哪些? 而对于投资者而言,最关心的还是相关概念股有哪些? 华西证券指出AI+电商:吉宏股份、焦点科技、光云科技、返利科技等;AI+律政:通达海、金桥信息、华宇软件等;AI+医疗:嘉和美康等;AI+阅读:掌阅科技、中文在线等;AI+金融:同花顺等;AI+财税:税友股份、金财互联等。 国盛证券认为智能硬件厂商具有较大机会,实现软硬一体,综合场景的机会。音箱,带APP的耳机等智能硬件拥有成为智能家居、智能助理核心的机会。智能音箱,智能耳机等智能硬件拥有智能家居,智能座舱以及随身携带等具体使用场景,有望从简单的音频设备,变成软硬件一体的智能助理载体,从非必需品转为必需品。 硬件:科大讯飞、漫步者、惠威科技、国光电器、恒玄科技;2)手机:传音股份;3)大模型:360、科大讯飞、云从科技、昆仑万维。
lg
...
证券之星
2023-04-07
涨停复盘 | ChatGPT重挫,半导体爆发10余股涨停!阿里又有新动作,智能音响概念崛起
go
lg
...
了天猫精灵,发现已经上线了阿里版大模型
语音
助手
版。 涨停梯队:奋达科技(2连板)、创维数字(首板)、萤石网络(首板) 六、市场情绪
lg
...
金融界
2023-04-06
天猫精灵接入阿里大模型 智能音箱板块开盘大涨
go
lg
...
息面上,4月4日,阿里版ChatGPT
语音
助手
已经在网上现身,天猫精灵团队通过音箱端接入阿里大模型,展示出一定的多轮对话及AIGC能力。广发证券表示,未来,在生成式AI模型加持下,智能音箱能够给出更加丰富、更加准确的反馈,提升消费者的体验。
lg
...
金融界
2023-04-06
A股头条:国家出手加强监管!黑色系重挫,五部门发文重要改革方案出台!
go
lg
...
灵,发现已经上线了阿里版ChatGPT
语音
助手
版。评:阿里版ChatGPT
语音
助手
已经在网上现身,是一个搭载于天猫精灵上的ChatGPT,更适合语音交互,主要针对音箱手机类
语音
助手
。以智能音箱为首的智能家居这个方向要注意,“智慧家居”或将进入“AI家居”阶段。 3、沪深交易所将于4月10日举行首批主板注册制企业上市仪式 沪深交易所主板注册制首批10家企业已完成发行,具备上市条件。目前,主板注册制首批企业上市交易的各项准备工作已基本就绪,上市时机已经成熟,将于4月10日(周一)举行首批企业上市仪式。 4、教育部等五部门:优化调整高校20%左右学科专业布点 新设一批适应新技术、新产业、新业态、新模式的学科专业 教育部等五部门印发《普通高等教育学科专业设置调整优化改革方案》,学科专业设置调整优化改革要面向世界科技前沿、面向经济主战场、面向国家重大需求、面向人民生命健康,引导高校在各自领域争创一流,走好人才自主培养之路。到2025年,优化调整高校20%左右学科专业布点,新设一批适应新技术、新产业、新业态、新模式的学科专业,淘汰不适应经济社会发展的学科专业。 5、深圳:调整新能源小汽车增量指标申请条件 不要求最近连续24个月以上缴纳医保 深圳市交通运输局发布《关于调整新能源小汽车增量指标申请条件的通告》,持有效深圳市居住证的非深户籍人员,申请新能源小汽车(纯电动小汽车、混合动力小汽车)增量指标的,不要求最近连续24个月以上在本市缴纳基本医疗保险。本政策自发布之日起实施,至2023年12月31日结束。评:深圳放宽了新能源车的购买限制,又释放出一批购买力,新能源各种小利好不断。 6、三六零:实控人周鸿祎离婚 拟将6.25%公司股份分割至胡欢名下 三六零公告,公司实际控制人周鸿祎与胡欢经友好协商,已办理解除婚姻关系手续,并就股份分割等事宜作出相关安排。周鸿祎拟将其直接持有的公司6.25%股份分割至胡欢名下。本次权益变动不会导致公司控股股东、实际控制人发生变化,不涉及公司控制权变更。评:在ChatGPT刺激下,最近三六零40个交易日涨了超过160%,这个时点竟然出了离婚的消息,让人有点意想不到。 7、欧盟-美国能源理事会召开部长级会议 第10届欧盟-美国能源理事会部长级会议在比利时布鲁塞尔召开。会议强调节能、能源效率和可再生能源的快速部署是能源转型的关键支柱。欧盟和美国还打算“以透明和相互加强的方式”帮助向气候中和过渡,以避免跨大西洋的“零和竞争”。欧盟和美国还决定在今年晚些时候共同组织一个高级小型模块化反应堆(SMR)论坛,以讨论在核电领域的跨大西洋合作。评:现在美国是欧盟最大的石油出口国,还琢磨以避免跨大西洋的“零和竞争”,让人有点担心欧盟这个“凯子”的钱包了。 隔夜外盘 美股:“一个男人改变市场,萧条更近加息更远!”摩根大通CEO银行危机远未结束的言论加上经济数据的利空,让市场改变了最近的走势,黄金避险暴涨,国债、恐慌指数再度起飞,美股全线收跌,道指跌近200点,标普一度失守4100点止步四连涨;纳指下跌0.52%;人工智能AI概念股大跌,芯片股及银行股下挫,英伟达跌2%失守逾一年高位,C3.ai跌超26%创上市以来最大跌幅,抹去上周三以来涨幅;哔哩哔哩跌4.5%,蔚来汽车跌6%,小鹏汽车跌7%。 外汇市场:经济数据连续多日不佳,劳动力市场展现降温迹象,美元指数失守102关口,刷新2月2日以来的逾两个月新低;欧美国债收益率全线下挫,两年期美债收益率重新失守4%关口,抹去上周一以来大部分涨幅;10年期基债收益率最深跌至3.34%,下逼去年9月来的近七个月低位;欧元区两年期德债收益率跌超7个基点刷新日低至2.6%;欧元兑美元升破1.09创2月初以来最高,英镑兑美元涨超110点,升破1.25创去年6月以来的十个月最高。美元兑日元失守132,离岸人民币交投6.88元,日内跌幅显著收窄;比特币重上2.82美元,以太坊涨上逼1870美元整数位。 能源市场:避险情绪再度升温,6月黄金期货报2038.20美元,盘中一度升破2040美元;现货黄金涨近2%接连升破1990至2020美元四道整数位,均连涨两日至去年3月以来的13个月新高。期银涨近5%并升破25美元,创去年4月中旬以来的近一年高位;伦铜失守8900和8800美元两道关口至两周最低;经济降温将导致油需不振的担忧,超过了OPEC多个核心成员国意外宣布主动额外减产的影响,纽约5月原油期货微涨至80.71美元;布伦特5月原油期货涨幅0.01%报84.94美元;美国天然气重上2.10美元。 市场策略 周二各股指有所分化,沪指收涨,创业板指收跌。中字头走强提振上证指数,但中字头应是反弹筑顶动作,上证指数反弹空间有限。短期大盘仍将震荡,上证指数仍将再创新高,不过整体看上方空间已经所剩无几。 题材掘金 数据交易所:《2023年河南省大数据产业发展4月3日,工作方案》印发,其中提到,今年争创5个以上国家级大数据产业发展试点示范项目支持郑州数据交易中心创建国家级数据交易场所。根据《党和国家机构改革方案》,国家数据局获准组建,数据确权、交易、流转等数据要素市场发展步入快车道。近日多个地方数据交易所动作频频: 深圳数据交易所注册资本金由1亿元增加至10亿元;上海数据交易所启动了国内首个数据交易链项目;广州数据交易所上线全国首个行业数据指数发布平台。 标的:太极股份 (002368)、深桑达A (000032) 游戏+AI:日前,巨人集团创始人史玉柱在谈及“游戏+AI”话题时表示,游戏+AI是大势所趋,未来公司须重点布局在游戏研发阶段的美术和程序上,AI可以提高效率,让一个人能干几个人的活;在运营阶段,能把对玩家的分类分得更为精细,让每一类玩家有不同的玩法,甚至匹配不同的数值;更重要的是在游戏策划上以往想找到好的数值要不断去摸索,而AI能迅速找到最佳数值,相比人工又快又准。 标的:吉比特 (603444)、恺英网络 (002517) 公告精选 【重大事项】 三六零 601360:实控人周鸿祎离婚 拟将6.25%公司股份分割至胡欢女士名下 弘信电子 300657:与上海燧原科技有限公司签订战略合作协议 打造自主可控的人工智能软硬件基础设施等 美亚柏科 300188:AI技术产生的销售收入对公司短期经营业绩不构成重大影响 倍杰特 300774:拟与苏青集团在盐湖提锂等领域开展全面合作 佰维存储 688525:公司产品暂未涉及CHATGPT等人工智能领域 源杰科技 688498:公司开发的高速光芯片目前处于研发阶段 2连板太极实业 600667:十一科技联合预中标华虹制造(无锡)项目工程总承包 项目投标报价为82.8亿元 鹏辉能源 300438:拟70亿元投建年产21GWh储能电池项目 【业绩速递】 宝信软件 600845:2022年净利润同比增长20.18% 拟10转2派8元 康恩贝 600572:一季度净利润预增150%至200% 【并购重组】 太和水 605081:拟向控股股东发行股票募资不超过4.2亿元 万事利 301066:拟定增募资不超6亿元 用于人工智能工厂项目 东方电气 600875:拟定增募资不超50亿元 【增持减持】 卓然股份 688121:股东马利平及其一致行动人拟合计减持不超6%股份 电声股份 300805:股东拟减持不超3.45%股份 西上海 605151:汇嘉创投拟以集中竞价减持不超1%股份 芒果超媒 300413:股东拟减持不超1%公司股份 三安光电 600703:大基金拟减持不超1%公司股份 建科院 300675:股东建科投资拟减持不超过2%公司股份 泰恩康 301263:聚兰德、瑞兰德拟减持不超10.46%股份 掌阅科技 603533:股东拟减持不超2%股份 邵阳液压 301079:股东拟减持公司不超2.98%股份 【其他事项】 辰欣药业 603367:公司产品获得药品注册证书 亚辉龙 688575:全自动生化分析仪取得医疗器械注册证 创业环保 600874:联合中标安阳市市政污水处理中心一期工程PPP项目 高能环境 603588:联合中标人民币约1.88亿元塞内加尔固废处理项目 永利股份 300230:拟对孙公司百汇精密泰国增资 扩大公司东南亚产能 中材节能 603126:联合签订19.25亿元分布式发电项目EPC总承包合同 宁波港 601018:3月预计完成货物吞吐量9301万吨 同比增长6.3% 艾力斯 688578:两项药物临床试验获批 中金环境 300145:签订PPP项目终止及政府回购协议 东方园林 002310:中标4.84亿元田园综合体项目 华康医疗 301235:预中标2.4亿元工程项目 上机数控 603185:拟50亿元投建年产16GW光伏组件项目 大禹节水 300021:联合中标12.25亿元环境综合治理项目 达志科技 300530:拟收购衡阳弘电4%股权 凌玮科技 301373:成立新材料研究有限公司 爱旭股份 600732:拟认购私募股权基金份额以参与对亚洲硅业的投资 东方财富 300059:证监会同意东方财富证券公开发行不超180亿元公司债券的注册申请
lg
...
金融界
2023-04-05
6股股价历史新高!致远互联成为百度“文心一言”首批合作伙伴
go
lg
...
携手百度AI联合推出智能工作助手“小致
语音
助手
”,通过融合自然语言处理(NLP)、语音识别与合成等人工智能技术,能快速将人、应用和数据进行匹配,实现多种协同应用场景下的人机对话、智能数据搜索和业务梳理等,让员工以更智能、更专业的方式提高工作效率。 最后,金融界上市公司研究院附上近期股价创历史新高个股以供投资者参考。 表1:近期股价创出历史新高的个股 制图:金融界上市公司研究院;来源:巨灵财经
lg
...
金融界
2023-03-17
乐鑫科技:目前云产品ESP RainMaker已形成一个完整的AIoT平台
go
lg
...
IoT平台,集成公司的芯片硬件、第三方
语音
助手
、手机App和云后台等,实现了硬件、软件应用和云端一站式的产品服务战略。 (来源:界面AI) 声明:本条内容由界面AI生成并授权使用,内容仅供参考,不构成投资建议。AI技术战略支持为有连云。
lg
...
有连云
2023-03-13
ChatGPT思考:探索智能的极限
go
lg
...
ChatGPT 出现的时候,它对已有的
语音
助手
们形成了降维打击;如果看不到基础模型的演化,即使花个一两年辛辛苦苦做出一个类似的东西,那时候 OpenAI 的基础模型也在继续变强,如果他们接着产品化,以新的更强的基础模型 finetune 到一个更强的产品,难道要再被降维打击一次吗? 刻舟求剑的做法是行不通的。 做中国的 OpenAI 第二种答案是,要做中国的 OpenAI。给出这个答案的玩家,跳出了经典中文互联网产品思维。他们不止看到单个产品,而且还看到了这个产品背后,基础模型不断演化的强大驱动力,来源于尖端人才的密度和先进的组织架构。 • 尖端人才的密度:不是一个人集资源带队然后把任务按层级打包分配给底下的人,而是一群顶级的集 science 和 engineering 于一身的人们共同协作; • 先进的组织架构:Language 团队与 Alignment 的团队相互合作迭代,然后底下 scaling 团队和 data 团队帮忙提供基础设施,每个 team 都非常小,但目标明确路径清晰,高度集中资源,朝着 AGI 进发。 所以,如果要做这件事情,不只要看到产品,还要看到它背后的人才团队和组织架构;按稀缺程度排名的话,人 > 卡 > 钱。 但这里的问题是,不同的土壤对创新的鼓励程度是不一样的。在 OpenAI 刚创立的 2015 年,它的投资者们都相信 AGI ,即使当时看不到什么盈利的点。现在 GPT 做出来了,国内的投资者们也都信了 AGI,但相信的点或许也不一样:到底是信 AGI 能挣钱,还是信 AGI 能推动人类发展? 更进一步地,即使 OpenAI 就产生在这里,明天就出现,但他们跟微软达成的 deal,能否跟国内的云计算厂商达成呢?大模型的训练和推理都需要极大的成本,需要一个云计算引擎作为支撑。微软可以倾尽所有,让整个 Azure 给 OpenAI 打下手,这个换到国内,阿里云有可能给一个创业公司打下手吗? 组织架构很重要,只有尖端的人才和先进的组织架构才能推动智能的不断迭代与进化;但它同样需要跟所在的土壤做适配,寻找可以 flourish 的方法。 探索智能的极限 第三种答案是,要探索智能的极限。这是我听到的最好的答案。它远超刻舟求剑式的经典互联网产品思维,也看到了组织架构和尖端人才密度的重要性,并且更重要地是它看到了未来,看到了模型演化与产品迭代,思考着如何把最深刻,最困难的问题用最创新的方法来解决。 这就涉及到了思考大模型的极限思维。 02. 极限思维 观察现在的 ChatGPT / GPT-3.5 ,它明显是一个中间状态,它还有很多显著可以加强,并且马上就能加强的点,包括: • 更长的输入框:开始的时候,GPT 3.5 的上下文最长到八千个 token;现在的 ChatGPT 上下文建模的长度似乎已经过万。并且这个长度明显可以接着增长,在融入 efficient attention 和 recursive encoding 的方法之后,context length 应该可以接着 scale 到十万,甚至百万的长度; • 更大的模型,更大的数据:模型的大小还没有到极限,MoE 可以接着把模型 scale 到 T 的量级;数据的大小还没有到极限,人类反馈的数据每天都在增长; • 多模态:在增加了多模态数据(音频,图片),特别是视频数据之后,总体与训练数据的大小可以再增大两个量级,这个可以让已知的能力接着按 scaling law 线性增加,同时还有可能继续出现新的涌现能力。比如可能模型在看过各种几何形状的图片,以及看过代数题之后,或许会自动学会做解析几何; • 专业化:现有的模型在文科上大概相当于研究生水平,但在理科上相当于高中或大一大二的学生水平;已有的工作已经证明我们可以把模型的技能点从一个方向挪到另一个方向,这就意味着即使不做任何 scaling,我们依然可以在通过牺牲其他方面能力的情况下,把模型朝着目标方向推进。比如牺牲掉模型的理科能力,把它的文科能力从研究生推到专家教授的水准。 以上四点只是现阶段可以看到的,马上就可以加强但暂时还没有加强的点,随着时间的推移和模型的演化,会有更多可以被 scale 的维度进一步体现出来。这意味着我们需要有极限的思维,思考当我们把能够拉满的维度全部拉满的时候,模型会是什么样子。 能够拉满全部拉满 模型的输入框可以接着加长,模型的大小可以继续增大,模型的数据可以继续增多,多模态的数据可以融合,模型的专业化程度可以继续增高,所有这些维度可以继续往上拉,模型还没有到极限。极限是一个过程,在这个过程中模型的能力会怎样发展呢? • Log-linear 曲线:一部分能力的增长会遵循 log-linear 的曲线,比如说某项任务的 finetuning。随着 finetune 数据的指数增长,模型所对应的 finetune 的任务的能力会线性增长。这部分能力会可预测地变得更强; • Phase change 曲线:一部分能力会随着 scaling 继续涌现,比如说上文中的模型做解析几何的例子。随着可以被拉满的维度被不断拉满,新的,难以预测的涌现能力会接着出现; • 多项式曲线?当模型强到一定程度,与人类 align 到一定程度之后,或许一些能力的线性增长,所需要的数据,会突破指数增长的封锁,而降低到多项式的量级。也就是说,当模型强到一定程度之后,它或许不需要指数级的数据,而是只需要多项式级的数据,就可以完成泛化。这可以从人类的专业学习中观察到:当一个人还不是领域专家的时候,ta 需要指数级的数据来学习领域的知识;当一个人已经是领域专家的时候了,ta 只需要很少量级的数据就自己迸发出新的灵感和知识。 所以,在极限思维下,把所有能拉满的维度全部拉满,模型注定会越来越强,出现越来越多的涌现能力。 反推中间过程 在思考清楚极限的过程之后,就可以从极限状态往后反推中间过程。比如说,如果我们希望增长输入框的大小: •如果希望把模型的输入框从千的量级增长到万的量级,可能只需要增加显卡数量,进行显存优化就能实现; •如果希望接着把输入框从万的量级增长到十万的量级,可能需要linear attention的方法,因为此时加显存应该也架不住 attention 运算量随输入框长度的二次增长; •如果希望接着把输入框从十万的量级增长到百万的量级,可能需要recursive encoding的方法和增加long-term memory的方法,因为此时 linear attention 可能也架不住显存的增长。 以这种方式,我们可以反推不同阶段的 scaling 需要怎样的技术。以上分析不止适用于输入框的长度,也适用于其他因素的 scaling 的过程。 这样的话,我们可以得到清晰的从现阶段的技术到 scaling 的极限的每个中间阶段的技术路线图。 按模型演化进程产品化 模型在不断演化,但产品化不需要等到最终那个模型完成 — 每当模型迭代出来一个大的版本,都可以产品化。以 OpenAI 的产品化过程为例: •2020 年,初代 GPT 3 训练完成,开放 OpenAI API; •2021 年,初代 Codex 训练完成,开放 Github Copilot; •2022 年,GPT-3.5 训练完成,以 dialog 数据 finetune 成 ChatGPT 然后发布。 可以看到,在中间阶段的每一个重要版本,模型的能力都会增强,都存在产品化的机会。 更加重要的是,按照模型演化进程产品化,可以在产品化的阶段适配市场。学习 OpenAI 的组织架构来推进模型演化本身,但产品化可以按照本土市场的特征来。这种方式或许可以既学到 OpenAI 的先进经验,又避免水土不服的问题。 03. 人工智能显著超过人类的点 到目前为止,我们讨论了要用模型演化的视角来分析模型,要用极限的思维讨论模型的演化历程。现阶段马上可以加强的点包括了输入框的长度,更大的模型和数据,多模态数据,和模型的专业化程度。现在让我们再把视野放得更长期些,思考在更大的时间和空间中,模型如何进一步地往极限推。我们讨论: • 并行感知:一个人类研究员一次顺序地读四五篇论文已经是极限,但模型输入框变长之后,可以在极短的时间内并行阅读一百篇论文。这意味着,模型对外部信息的感知能力远超人类一个数量级; • 记忆遗传:人类的演化过程中,子代只继承父代的基因,但不继承父代的记忆,这意味着每一次生殖都需要重启一次;在模型的演化过程中,子代可以继承父代的记忆,并且这个继承的程度可控:我们可以设置子代继承 100%,50%,20% 的记忆,或清空记忆,这意味着父代的经验和技能可以不断累积; • 加速时间:人类相互交流的速率是受到人类说话的物理速度限制的,而模型相互交流的速率可以远快于人类,这意味着模型可以通过相互交流来解决人类数据随时间线性增长的问题;人类演化的过程受到物理时间的限制,模型的演化可以比人类的物理时间快上几个数量级,这意味着模型的进步速度可以远快于人类; • 无限生命:一个人的生命有限,百年之后终归尘土,但模型的权重只要不丢失,就可以不断地演化。 从这些角度来说,人工智能超过人类并不是一件难以想象的事情。这就引发了下一个问题: 如何驾驭远超人类的强人工智能? 这个问题,是 Alignment 这项技术真正想要解决的问题。 04. Alignment 对齐 当前阶段,模型的能力,除了 AlphaGo 在围棋上超过了最强人类之外,其他方面的 AI 并没有超过最强的人类(但 ChatGPT 在文科上或许已经超过了 95% 的人类,且它还在继续增长)。在模型还没超过人类的时候,Alignment 的任务是让模型符合人类的价值观和期望;但当模型继续演化到超过人类之后,Alignment 的任务就变成了寻找驾驭远超人类的智能体的方法。 Alignment 作为驾驭远超人类的智能体的方法 一个显然的问题是,当 AI 超过人类之后,还可以通过人类反馈让 ta 更强 / 更受约束吗?是不是这个时候就已经管不了了? 不一定,即使模型远超人类,我们依然又可能驾驭 ta,这里的一个例子是运动员和教练之间的关系:金牌运动员在 ta 的方向上已经是最强的人类了,但这并不意味着教练就不能训练 ta。相反,即使教练不如运动员,ta 依然可以通过各种反馈机制让运动员变得更强且更有纪律。 类似地,人类和强人工智能的关系,在 AI 发展的中后期,可能会变成运动员和教练之间的关系。这个时候,人类需要的能力并不是完成一个目标,而是设定一个好的目标,然后衡量机器是否足够好地完成了这个目标,并给出改进意见。 这个方向的研究还非常初步,这个新学科的名字,叫 Scalable Oversight。 Alignment 与组织架构 在通往强人工智能的路上,不只是需要人类与 AI 对齐,人类与人类,也需要高度的对齐。从组织架构的角度,alignment 涉及到: • Pretraining 团队与 instruction tuning - alignment 团队之间的对齐: 这两者应该是一个相互迭代的过程,pretraining 团队不断地 scale 基础模型,alignment 团队为基础模型做 instruction tuning,同时用得到的结果反向指导 pretraning 团队的方向。 • Pretraining / Alignment 团队与 Scaling / Data 团队的对齐: scaling 负责为 pretraining / alignment 做好基础设施,data 做好高质量数据与人类反馈数据。 • 创业公司与 VC 的对齐: AGI 是一个困难的事情,需要长期的投入,这需要各个方面的人都有足够的耐心和足够高的视野。烧一趟热钱后催产品化然后占满市场的逻辑在大模型时代应该已经不复存在了。大模型的游戏要求 ta 的玩家们有足够高的视野与格局,模型的演化会让有足够耐心的,踏实做事人们在长期得到丰厚的回报,也会让只看短期刻舟求剑的人们一次又一次被降维打击。 05. 结语 在 2017 年,我刚刚入行 NLP 的时候,花了很大的力气做可控生成这件事情。那个时候所谓的 text style transfer 最多就是把句子情感分类改一改,把 good 改成 bad 就算是完成了 transfer。 2018 年我花了大量的时间研究如何让模型从句子结构的角度修改句子的风格,一度误认为风格转换是几乎不可能完成的事情。而今 ChatGPT 做风格转换简直信手拈来。那些曾经看似不可能完成的任务,曾经极其困难的事情,今天大语言模型非常轻松地就能完成。 在 2022 年一整年,我追踪了从 GPT-3 到 GPT-3.5 的全部版本迭代,亲眼看到它一步步地从弱到强不断演化。这个演化速度并没有变慢,反而正在加快。那些原先看来科幻的事情,现在已经成为现实。谁会知道未来会怎样呢? 彼黍离离,彼稷之苗。 行迈靡靡,中心摇摇。 彼黍离离,彼稷之穗。 行迈靡靡,中心如醉。 ——— 《诗经 · 黍离》 Reference 1. Ilya Sutskever https://scholar.google.com/citationsuser=x04W_mMAAAAJ&hl=en 2. GPT 3.5 系列在 2022 年更新了三个大版本 https://platform.openai.com/docs/model-index-for-researchers 3. ChatGPT 发布两个月一共更新了四个小版本https://help.openai.com/en/articles/6825453-chatgpt-release-notes 4. 微软 Azure 辅助 OpenAI https://blogs.microsoft.com/blog/2023/01/23/microsoftandopenaiextendpartnership/ 5. efficient attention https://arxiv.org/abs/2302.04542 6. recursive encoding https://openai.com/research/summarizing-books 7. MoE 可以接着把模型 scale 到 T 的量级 https://arxiv.org/abs/2101.03961 8. log-linear 的曲线 https://arxiv.org/abs/2001.08361 https://arxiv.org/abs/2203.15556 9. Phase change 曲线 https://arxiv.org/abs/2206.07682 10. linear attention https://arxiv.org/abs/2103.02143 https://arxiv.org/abs/2302.04542 11. recursive encoding https://openai.com/research/summarizing-books 12. long-term memory https://arxiv.org/abs/2112.04426 13. OpenAI API https://platform.openai.com/docs/introduction/overview 14. Github Copilot https://github.com/features/copilot 15. Scalable Oversight https://arxiv.org/abs/2211.03540 16. 从 GPT-3 到 GPT-3.5 的全部版本迭代 https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Models-to-their-Sources-b9a57ac0fcf74f30a1ab9e3e36fa1dc 来源:元宇宙之心 来源:金色财经
lg
...
金色财经
2023-03-05
上一页
1
•••
18
19
20
21
22
下一页
24小时热点
特朗普和泽连斯基在白宫火爆互呛 磋商多日的矿产协议未能签署 华尔街和政府官员怎么说?
lg
...
中国政坛突传大消息!中国第四位部长、“科技沙皇”突遭撤职 出了什么事?
lg
...
市场无处可逃:特朗普关税恐慌横扫全球!比特币崩溃黄金暴跌 今日PCE驾到
lg
...
中国重磅信号!国家主席习近平在重要会议前承认 中国经济“面临诸多困难”
lg
...
美国最新通胀指标符合预期 是对美联储的救赎 还是……
lg
...
最新话题
更多
#SFFE2030--FX168“可持续发展金融企业”评选#
lg
...
19讨论
#链上风云#
lg
...
60讨论
#VIP会员尊享#
lg
...
1762讨论
#比特币最新消息#
lg
...
916讨论
#CES 2025国际消费电子展#
lg
...
21讨论