全球数字财富领导者
CoNET
|
客户端
|
旧版
|
北美站
|
FX168 全球视野 中文财经
首页
资讯
速递
行情
日历
数据
社区
视频
直播
点评旗舰店
商品
香港论坛
外汇开户
登录 / 注册
搜 索
综合
行情
速递
日历
话题
168人气号
文章
Salesforce推出生成式人工智能工具Einstein GPT
go
lg
...
在上周的采访中说。“这是机器学习。这是
深度
学习
。它可以摄取您自己的数据模型。它可以成为企业的生成式人工智能——他们需要一个像Salesforce这样的平台,让他们在公司内部没有专业知识的情况下做到这一点。我们必须成为客户的替代品,这样我们才能把产品交付给他们。” Salesforce今天上午还宣布,计划推出一个新的2.5亿美元的早期生成式AI风险基金,作为该公司风险投资部门Salesforce Ventures的一部分。 在整个技术领域,开发生成式人工智能工具的紧迫性越来越大。 C3。人工智能公司(ai)宣布了其人工智能应用程序的搜索工具,使人们更容易在他们的平台上查找信息,这在一定程度上也是基于Open ai的工具。芯片制造商英伟达(Nvidia)和高级微设备公司(AMD)都表示,人工智能将是他们未来战略的核心。 在多个市场与Salesforce竞争的微软(Microsoft)是迄今为止开放式AI的最大投资者,并承诺在其软件业务中包含生成式人工智能功能。下周,微软首席执行官萨蒂亚·纳德拉将主持一场虚拟客户活动,主题是“人工智能工作的未来”。
lg
...
金融界
2023-03-08
超级重磅!国务院机构改革方案提请审议组建国家数据局,"数字中国"再迎利好!关注这些细分领域(股)
go
lg
...
续加厚AI核心技术研发底座,自主研发了
深度
学习
训练和推理框架,面向复杂场景的多模感知、多维表达、深度理解、AI运动智能算法等持续保持业界领先,2022年累计获得16项国际权威评测冠军,我们预计公司等国内AI龙头有望逐步完成技术积累,后续商业化应用空间可期。 拓尔思 公司是国内最早从事自然语言处理(NLP)研发的企业之一,在AIGC方面,公司围绕传媒、政府等垂直领域的语料库积累已非常全面,在智能问答、自动写作或智能写稿、内容播报、创作智能辅助等方面亦有成熟应用场景。华西证券指出,2022年前三季度公司实现营收6.37亿元,同比增长4.95%,实现归母净利润1.04亿元,同比增长4.49%。2022年前三季度公司整体毛利率为66.44%,同比增长5.32%。预计“十四五”期间市场规模复合增速将超过25%,随着数据要素下游需求释放,公司营收增长有望提速,毛利率有望持续回升,业绩反转在即。 海天瑞声 公司持续布局海外市场,前三季度境外基础训练数据业务收入同比增长近140%。随着公司海外业务的加速布局,能够更好地发挥公司在语音和自然语言领域的多语种优势,打开公司广阔成长空间。浙商证券指出,公司是国内领先的人工智能数据标注提供商,提供AI算法模型开发所需的专业数据集,业务覆盖智能语音、计算机视觉、自然语言等场景,并积极布局自动驾驶业务,未来有望打开公司成长空间。公司产品服务在人机交互、智能家居、智慧城市等领域均有深度应用,对标海外龙头,公司有望充分受益于数据要素生态构建和人工智能产业加速发展,并且在自动驾驶新业务加持下,实现业务的快速增长。 昆仑万维 公司发布业绩快报,若不考虑投资相关收益,2022年公司实现归母经营性净利润8.3亿元,同比增长174%,四大板块核心业务盈利能力稳步提升,经营彰显韧性。东吴证券指出,技术端来看,公司拥有LLM等底层技术储备,自2020年起布局具有领先优势,已覆盖AIGC文本、图像、音乐、编程等方向。应用端来看,公司的天工乐府SkyMusic是国内领先的商用级作曲AI模型,截至2022年三季度公司已发行15首AIGC歌曲,且与多行业公司取得合作,初步探索商业化。此外,公司计划于2023年年内发布中国版类ChatGPT,并开源代码,推动国内AIGC发展。 物联网 落地应用广泛 万物互联将成为后数字经济时代最广泛的落地应用。随着整个经济新旧动能转换,数字化升级步伐加快,各行各业都迎来了数字化、智能化转型升级,生产智能化和生活智慧化趋势进一步加速,为物联网产业进入下一阶段高速发展期积蓄势能。与此同时,企业定位也逐渐明晰化,开始角逐细分领域,市场从多个分散的网状结构逐步向着交叉发展方向进化。在政策、技术、应用、产业龙头的多方面因素推动下,物联网正迎来黄金发展期,其广阔的市场空间及高增速,是未来很长一段时间重要的投资赛道。有行业人士指出,疫后国内经济逐渐复苏,海外需求强劲,看好国内物联网需求修复的景气反转。在物联网基础材料、必备元件、传感器领域建议投资者重点关注神工股份、泰晶科技、惠伦晶体、中瓷电子、汉威科技、四方光电等;车联网方面建议关注德赛西威、华阳集团、鸿泉物联等;工业互联网方面建议关注三旺通信、奥普特等。 泰晶科技 公司依托半导体光刻工艺技术优势,推动新应用领域新时钟产品的研发,加大物联网、工业控制、汽车电子、模组、光通信等终端市场的开发和投放力度,确保公司持续健康发展。华鑫证券指出,基于工业互联网、服务器、北斗、5G基站、汽车电子等的应用需求,公司加大了XO、TCXO等产线的建设与再投入。随着智能汽车的发展及客户导入,重点推进车规产品生产条线的建设、产品料号的开发及工艺优化、产能提升,公司长期成长奠定坚实基础。整体来看,公司深耕晶振行业十余年,是业内少数具备全系列产品研发生产能力的晶体厂商之一。虽然短期受消费类终端需求疲软影响,但不改公司长期稳健发展态势。 德赛西威 公司智驾业务毛利率持续走高,随配套规模扩大有望为公司贡献利润增量。公司合作伙伴英伟达已发布算力高达2000TOPS的Thor系统高算力芯片,支持异构SOC和车载中央计算机,公司作为英伟达核心合作伙伴,有望在Thor芯片配套方面取得先发合作机会,中央计算平台域控产品有望加速推进。信达证券指出,德赛西威欧洲公司成功收购汽车天线测试和服务的领先供应商ATC。公司有望进一步整合行业领先的智能天线技术,逐渐覆盖汽车天线领域全流程完整解决方案能力,拓展网联业务版图。公司智能驾驶领域具备先发优势,网联业务版图持续拓展,在手客户优质,订单充沛,有望直接受益于智能座舱、智能驾驶赛道高增长红利。
lg
...
金融界
2023-03-07
ChatGPT热潮来袭!大厂大语言模型卷起来了
go
lg
...
PT本质上是一种大型语言模型,都是通过
深度
学习方法
训练出来的,可以根据输入的文本生成单词、句子、或者段落的人工智能产品。近年来,自然语言处理技术取得了长足的发展,其中大型语言模型的出现成为了颠覆性的进步。ChatGPT的竞争,背后实际是大模型的竞争,它们争夺着更大的参数量、更高的计算速度和更强的语言处理能力。 ChatGPT概念的火热,也让互联网、科技大厂们或主动或被动的官宣了自身相关技术领域、尤其是底层大模型方面的布局。 今年2月,百度官宣正在做类似ChatGPT的项目,并宣布了项目的名字——“文心一言”。公布消息当日,百度港股股价大涨15%。 此后,在百度财报会议上,李彦宏表示,百度人工智能能力在大型语言模型和人工智能基础模型中构筑了护城河。不久前,百度宣布将在3月16日围绕其生成式AI产品“文心一言”召开新闻发布会。 与此同时,腾讯也透露了在ChatGPT和AIGC相关方向上已有布局。腾讯方面表示,腾讯持续投入AI等前沿技术的研发,基于此前在AI大模型、机器学习算法以及NLP等领域的技术储备,将进一步开展前沿研究及应用探索。 另外,阿里方面也确认阿里达摩院正在研发类ChatGPT的对话机器人,目前处于内测阶段。 美国国家工程院外籍院士、北京智源人工智能研究院理事张宏江公开表示,ChatGPT和AIGC(生成式人工智能)技术爆火背后,代表着人工智能大模型进入一个新的技术范式,同时也是第三波 AI 浪潮经过十几年发展之后一个非常重要的拐点。
lg
...
金融界
2023-03-07
天风证券:6G有望重塑智慧未来,建议关注天地一体+算力感知
go
lg
...
+算力:在通信物理层通过无线传输与AI
深度
学习
相结合是6G的未来趋势。《6G通信技术专利发展状况报告》显示全球专利申请总量为566项,来自中国的专利占比达到75%。算力增长受益标的包括产业链上游的底层基础设施、IT及网络设备标的中兴通讯、紫光股份(与计算机组联合覆盖);光器件供应商中际旭创、天孚通讯、源杰科技,并建议关注太辰光、仕佳光子;中游的电信运营商中国移动、中国电信、中国联通;第三方数据中心运营商润泽科技(与机械军工组联合覆盖)、科华数据(与电新组联合覆盖)。
lg
...
金融界
2023-03-07
盛天网络:我司与《三国志•战棋版》没有IP监修合作
go
lg
...
户兴趣、行为标签构建用户多维画像,进行
深度
学习
和协调精准过滤等十几种算法结合,智能推荐给用户精准内容服务和社交匹配用户。 在不久的未来我们也会考虑应用相关算法和技术,按照用户或者主播的需求生成声音,提高声音类产品的生成效率,更好更快的满足平台使用者的需求。当前带带平台已经上线了声鉴玩法,欢迎大家下载带带体验试玩。 投资者:你好,公司未来可以在发展酒店元宇宙的基础上,发展家庭式VR+AR元宇宙平台吗? 盛天网络董秘:我们期望在线下场景打造“元宇宙接入点”,建设玩家社区与体验场,提供虚拟与现实结合的独特娱乐体验,降低用户理解和进入元宇宙的门槛,并激活线下场景的活力。当前在电竞酒店以及文旅场景的相关工作正在稳步推进,家庭场景也是线下场景的一种,不存在技术壁垒。 投资者:您好,贵公司有可能将IP形象或者游戏植入ChatGPT功能吗? 盛天网络董秘:ChatGPT用于游戏中,不仅能够让智能NPC和玩家自由生成对话,还能基于对话内容自主给出有逻辑的行为反馈,还可以通过AI随机生成任务、地图关卡,帮助人物形象塑造,有效提升游戏的研发效率。我们在密切关注这一技术在游戏中的应用测试。 盛天网络2022三季报显示,公司主营收入11.83亿元,同比上升23.26%;归母净利润1.9亿元,同比上升71.37%;扣非净利润1.89亿元,同比上升73.44%;其中2022年第三季度,公司单季度主营收入4.5亿元,同比上升32.44%;单季度归母净利润7376.31万元,同比上升80.05%;单季度扣非净利润7312.92万元,同比上升83.34%;负债率24.22%,投资收益100.35万元,财务费用-1434.72万元,毛利率27.0%。 该股最近90天内共有4家机构给出评级,买入评级3家,增持评级1家;过去90天内机构目标均价为18.7。根据近五年财报数据,证券之星估值分析工具显示,盛天网络(300494)行业内竞争力的护城河一般,盈利能力一般,营收成长性良好。财务相对健康,须关注的财务指标包括:应收账款/利润率。该股好公司指标3星,好价格指标2星,综合指标2.5星。(指标仅供参考,指标范围:0 ~ 5星,最高5星) 盛天网络(300494)主营业务:互联网娱乐平台的设计、开发、推广和基于此平台上的网络广告推广及互联网增值服务,以及游戏联合运营业务 以上内容由证券之星根据公开信息整理,与本站立场无关。证券之星力求但不保证该信息(包括但不限于文字、视频、音频、数据及图表)全部或者部分内容的的准确性、完整性、有效性、及时性等,如存在问题请联系我们。本文为数据整理,不对您构成任何投资建议,投资有风险,请谨慎决策。
lg
...
证券之星
2023-03-05
ChatGPT思考:探索智能的极限
go
lg
...
的大弟子,从 2007 年就开始研究
深度
学习
。他的 citation 有 37 万,发过的文章精准踩中了过去十年 Deep Learning 的所有关键节点。即使是如此强大的团队,从 GPT 2 到 GPT 3.5 也花了四年的时间,它的科学与工程的难度可想而知。 同时,初代 ChatGPT,是 OpenAI 在 GPT 3.5 的基础模型上,花了两星期时间对着 dialog 做 finetuning 之后随手扔出来的 demo。这里真正强的并不是 ChatGPT 这一个产品,而是底下的 GPT 3.5 基础模型。这个模型还在不断地演化,GPT 3.5 系列在 2022 年更新了三个大版本,每个大版本都显著强于前一个版本;同样地,ChatGPT 发布两个月一共更新了四个小版本,每个小版本都在单个的维度上比前一个版本有着明显的改进。OpenAI 的所有模型都在持续不断的演化,随时间推移越来越强。 这也就意味着,如果只盯着当前 ChatGPT 这一个产品看,无异于刻舟求剑。当 ChatGPT 出现的时候,它对已有的语音助手们形成了降维打击;如果看不到基础模型的演化,即使花个一两年辛辛苦苦做出一个类似的东西,那时候 OpenAI 的基础模型也在继续变强,如果他们接着产品化,以新的更强的基础模型 finetune 到一个更强的产品,难道要再被降维打击一次吗? 刻舟求剑的做法是行不通的。 做中国的 OpenAI 第二种答案是,要做中国的 OpenAI。给出这个答案的玩家,跳出了经典中文互联网产品思维。他们不止看到单个产品,而且还看到了这个产品背后,基础模型不断演化的强大驱动力,来源于尖端人才的密度和先进的组织架构。 • 尖端人才的密度:不是一个人集资源带队然后把任务按层级打包分配给底下的人,而是一群顶级的集 science 和 engineering 于一身的人们共同协作; • 先进的组织架构:Language 团队与 Alignment 的团队相互合作迭代,然后底下 scaling 团队和 data 团队帮忙提供基础设施,每个 team 都非常小,但目标明确路径清晰,高度集中资源,朝着 AGI 进发。 所以,如果要做这件事情,不只要看到产品,还要看到它背后的人才团队和组织架构;按稀缺程度排名的话,人 > 卡 > 钱。 但这里的问题是,不同的土壤对创新的鼓励程度是不一样的。在 OpenAI 刚创立的 2015 年,它的投资者们都相信 AGI ,即使当时看不到什么盈利的点。现在 GPT 做出来了,国内的投资者们也都信了 AGI,但相信的点或许也不一样:到底是信 AGI 能挣钱,还是信 AGI 能推动人类发展? 更进一步地,即使 OpenAI 就产生在这里,明天就出现,但他们跟微软达成的 deal,能否跟国内的云计算厂商达成呢?大模型的训练和推理都需要极大的成本,需要一个云计算引擎作为支撑。微软可以倾尽所有,让整个 Azure 给 OpenAI 打下手,这个换到国内,阿里云有可能给一个创业公司打下手吗? 组织架构很重要,只有尖端的人才和先进的组织架构才能推动智能的不断迭代与进化;但它同样需要跟所在的土壤做适配,寻找可以 flourish 的方法。 探索智能的极限 第三种答案是,要探索智能的极限。这是我听到的最好的答案。它远超刻舟求剑式的经典互联网产品思维,也看到了组织架构和尖端人才密度的重要性,并且更重要地是它看到了未来,看到了模型演化与产品迭代,思考着如何把最深刻,最困难的问题用最创新的方法来解决。 这就涉及到了思考大模型的极限思维。 02. 极限思维 观察现在的 ChatGPT / GPT-3.5 ,它明显是一个中间状态,它还有很多显著可以加强,并且马上就能加强的点,包括: • 更长的输入框:开始的时候,GPT 3.5 的上下文最长到八千个 token;现在的 ChatGPT 上下文建模的长度似乎已经过万。并且这个长度明显可以接着增长,在融入 efficient attention 和 recursive encoding 的方法之后,context length 应该可以接着 scale 到十万,甚至百万的长度; • 更大的模型,更大的数据:模型的大小还没有到极限,MoE 可以接着把模型 scale 到 T 的量级;数据的大小还没有到极限,人类反馈的数据每天都在增长; • 多模态:在增加了多模态数据(音频,图片),特别是视频数据之后,总体与训练数据的大小可以再增大两个量级,这个可以让已知的能力接着按 scaling law 线性增加,同时还有可能继续出现新的涌现能力。比如可能模型在看过各种几何形状的图片,以及看过代数题之后,或许会自动学会做解析几何; • 专业化:现有的模型在文科上大概相当于研究生水平,但在理科上相当于高中或大一大二的学生水平;已有的工作已经证明我们可以把模型的技能点从一个方向挪到另一个方向,这就意味着即使不做任何 scaling,我们依然可以在通过牺牲其他方面能力的情况下,把模型朝着目标方向推进。比如牺牲掉模型的理科能力,把它的文科能力从研究生推到专家教授的水准。 以上四点只是现阶段可以看到的,马上就可以加强但暂时还没有加强的点,随着时间的推移和模型的演化,会有更多可以被 scale 的维度进一步体现出来。这意味着我们需要有极限的思维,思考当我们把能够拉满的维度全部拉满的时候,模型会是什么样子。 能够拉满全部拉满 模型的输入框可以接着加长,模型的大小可以继续增大,模型的数据可以继续增多,多模态的数据可以融合,模型的专业化程度可以继续增高,所有这些维度可以继续往上拉,模型还没有到极限。极限是一个过程,在这个过程中模型的能力会怎样发展呢? • Log-linear 曲线:一部分能力的增长会遵循 log-linear 的曲线,比如说某项任务的 finetuning。随着 finetune 数据的指数增长,模型所对应的 finetune 的任务的能力会线性增长。这部分能力会可预测地变得更强; • Phase change 曲线:一部分能力会随着 scaling 继续涌现,比如说上文中的模型做解析几何的例子。随着可以被拉满的维度被不断拉满,新的,难以预测的涌现能力会接着出现; • 多项式曲线?当模型强到一定程度,与人类 align 到一定程度之后,或许一些能力的线性增长,所需要的数据,会突破指数增长的封锁,而降低到多项式的量级。也就是说,当模型强到一定程度之后,它或许不需要指数级的数据,而是只需要多项式级的数据,就可以完成泛化。这可以从人类的专业学习中观察到:当一个人还不是领域专家的时候,ta 需要指数级的数据来学习领域的知识;当一个人已经是领域专家的时候了,ta 只需要很少量级的数据就自己迸发出新的灵感和知识。 所以,在极限思维下,把所有能拉满的维度全部拉满,模型注定会越来越强,出现越来越多的涌现能力。 反推中间过程 在思考清楚极限的过程之后,就可以从极限状态往后反推中间过程。比如说,如果我们希望增长输入框的大小: •如果希望把模型的输入框从千的量级增长到万的量级,可能只需要增加显卡数量,进行显存优化就能实现; •如果希望接着把输入框从万的量级增长到十万的量级,可能需要linear attention的方法,因为此时加显存应该也架不住 attention 运算量随输入框长度的二次增长; •如果希望接着把输入框从十万的量级增长到百万的量级,可能需要recursive encoding的方法和增加long-term memory的方法,因为此时 linear attention 可能也架不住显存的增长。 以这种方式,我们可以反推不同阶段的 scaling 需要怎样的技术。以上分析不止适用于输入框的长度,也适用于其他因素的 scaling 的过程。 这样的话,我们可以得到清晰的从现阶段的技术到 scaling 的极限的每个中间阶段的技术路线图。 按模型演化进程产品化 模型在不断演化,但产品化不需要等到最终那个模型完成 — 每当模型迭代出来一个大的版本,都可以产品化。以 OpenAI 的产品化过程为例: •2020 年,初代 GPT 3 训练完成,开放 OpenAI API; •2021 年,初代 Codex 训练完成,开放 Github Copilot; •2022 年,GPT-3.5 训练完成,以 dialog 数据 finetune 成 ChatGPT 然后发布。 可以看到,在中间阶段的每一个重要版本,模型的能力都会增强,都存在产品化的机会。 更加重要的是,按照模型演化进程产品化,可以在产品化的阶段适配市场。学习 OpenAI 的组织架构来推进模型演化本身,但产品化可以按照本土市场的特征来。这种方式或许可以既学到 OpenAI 的先进经验,又避免水土不服的问题。 03. 人工智能显著超过人类的点 到目前为止,我们讨论了要用模型演化的视角来分析模型,要用极限的思维讨论模型的演化历程。现阶段马上可以加强的点包括了输入框的长度,更大的模型和数据,多模态数据,和模型的专业化程度。现在让我们再把视野放得更长期些,思考在更大的时间和空间中,模型如何进一步地往极限推。我们讨论: • 并行感知:一个人类研究员一次顺序地读四五篇论文已经是极限,但模型输入框变长之后,可以在极短的时间内并行阅读一百篇论文。这意味着,模型对外部信息的感知能力远超人类一个数量级; • 记忆遗传:人类的演化过程中,子代只继承父代的基因,但不继承父代的记忆,这意味着每一次生殖都需要重启一次;在模型的演化过程中,子代可以继承父代的记忆,并且这个继承的程度可控:我们可以设置子代继承 100%,50%,20% 的记忆,或清空记忆,这意味着父代的经验和技能可以不断累积; • 加速时间:人类相互交流的速率是受到人类说话的物理速度限制的,而模型相互交流的速率可以远快于人类,这意味着模型可以通过相互交流来解决人类数据随时间线性增长的问题;人类演化的过程受到物理时间的限制,模型的演化可以比人类的物理时间快上几个数量级,这意味着模型的进步速度可以远快于人类; • 无限生命:一个人的生命有限,百年之后终归尘土,但模型的权重只要不丢失,就可以不断地演化。 从这些角度来说,人工智能超过人类并不是一件难以想象的事情。这就引发了下一个问题: 如何驾驭远超人类的强人工智能? 这个问题,是 Alignment 这项技术真正想要解决的问题。 04. Alignment 对齐 当前阶段,模型的能力,除了 AlphaGo 在围棋上超过了最强人类之外,其他方面的 AI 并没有超过最强的人类(但 ChatGPT 在文科上或许已经超过了 95% 的人类,且它还在继续增长)。在模型还没超过人类的时候,Alignment 的任务是让模型符合人类的价值观和期望;但当模型继续演化到超过人类之后,Alignment 的任务就变成了寻找驾驭远超人类的智能体的方法。 Alignment 作为驾驭远超人类的智能体的方法 一个显然的问题是,当 AI 超过人类之后,还可以通过人类反馈让 ta 更强 / 更受约束吗?是不是这个时候就已经管不了了? 不一定,即使模型远超人类,我们依然又可能驾驭 ta,这里的一个例子是运动员和教练之间的关系:金牌运动员在 ta 的方向上已经是最强的人类了,但这并不意味着教练就不能训练 ta。相反,即使教练不如运动员,ta 依然可以通过各种反馈机制让运动员变得更强且更有纪律。 类似地,人类和强人工智能的关系,在 AI 发展的中后期,可能会变成运动员和教练之间的关系。这个时候,人类需要的能力并不是完成一个目标,而是设定一个好的目标,然后衡量机器是否足够好地完成了这个目标,并给出改进意见。 这个方向的研究还非常初步,这个新学科的名字,叫 Scalable Oversight。 Alignment 与组织架构 在通往强人工智能的路上,不只是需要人类与 AI 对齐,人类与人类,也需要高度的对齐。从组织架构的角度,alignment 涉及到: • Pretraining 团队与 instruction tuning - alignment 团队之间的对齐: 这两者应该是一个相互迭代的过程,pretraining 团队不断地 scale 基础模型,alignment 团队为基础模型做 instruction tuning,同时用得到的结果反向指导 pretraning 团队的方向。 • Pretraining / Alignment 团队与 Scaling / Data 团队的对齐: scaling 负责为 pretraining / alignment 做好基础设施,data 做好高质量数据与人类反馈数据。 • 创业公司与 VC 的对齐: AGI 是一个困难的事情,需要长期的投入,这需要各个方面的人都有足够的耐心和足够高的视野。烧一趟热钱后催产品化然后占满市场的逻辑在大模型时代应该已经不复存在了。大模型的游戏要求 ta 的玩家们有足够高的视野与格局,模型的演化会让有足够耐心的,踏实做事人们在长期得到丰厚的回报,也会让只看短期刻舟求剑的人们一次又一次被降维打击。 05. 结语 在 2017 年,我刚刚入行 NLP 的时候,花了很大的力气做可控生成这件事情。那个时候所谓的 text style transfer 最多就是把句子情感分类改一改,把 good 改成 bad 就算是完成了 transfer。 2018 年我花了大量的时间研究如何让模型从句子结构的角度修改句子的风格,一度误认为风格转换是几乎不可能完成的事情。而今 ChatGPT 做风格转换简直信手拈来。那些曾经看似不可能完成的任务,曾经极其困难的事情,今天大语言模型非常轻松地就能完成。 在 2022 年一整年,我追踪了从 GPT-3 到 GPT-3.5 的全部版本迭代,亲眼看到它一步步地从弱到强不断演化。这个演化速度并没有变慢,反而正在加快。那些原先看来科幻的事情,现在已经成为现实。谁会知道未来会怎样呢? 彼黍离离,彼稷之苗。 行迈靡靡,中心摇摇。 彼黍离离,彼稷之穗。 行迈靡靡,中心如醉。 ——— 《诗经 · 黍离》 Reference 1. Ilya Sutskever https://scholar.google.com/citationsuser=x04W_mMAAAAJ&hl=en 2. GPT 3.5 系列在 2022 年更新了三个大版本 https://platform.openai.com/docs/model-index-for-researchers 3. ChatGPT 发布两个月一共更新了四个小版本https://help.openai.com/en/articles/6825453-chatgpt-release-notes 4. 微软 Azure 辅助 OpenAI https://blogs.microsoft.com/blog/2023/01/23/microsoftandopenaiextendpartnership/ 5. efficient attention https://arxiv.org/abs/2302.04542 6. recursive encoding https://openai.com/research/summarizing-books 7. MoE 可以接着把模型 scale 到 T 的量级 https://arxiv.org/abs/2101.03961 8. log-linear 的曲线 https://arxiv.org/abs/2001.08361 https://arxiv.org/abs/2203.15556 9. Phase change 曲线 https://arxiv.org/abs/2206.07682 10. linear attention https://arxiv.org/abs/2103.02143 https://arxiv.org/abs/2302.04542 11. recursive encoding https://openai.com/research/summarizing-books 12. long-term memory https://arxiv.org/abs/2112.04426 13. OpenAI API https://platform.openai.com/docs/introduction/overview 14. Github Copilot https://github.com/features/copilot 15. Scalable Oversight https://arxiv.org/abs/2211.03540 16. 从 GPT-3 到 GPT-3.5 的全部版本迭代 https://yaofu.notion.site/How-does-GPT-Obtain-its-Ability-Tracing-Emergent-Abilities-of-Language-Models-to-their-Sources-b9a57ac0fcf74f30a1ab9e3e36fa1dc 来源:元宇宙之心 来源:金色财经
lg
...
金色财经
2023-03-05
人工智能:中国式ChatGPT的“大跃进”
go
lg
...
心大模型研发的带头人,百度首席技术官、
深度
学习
技术及应用国家工程研究中心主任王海峰博士,是自然语言处理领域权威国际学术组织ACL(Association for Computational Linguistics)的首位华人主席、ACL亚太分会创始主席、ACL Fellow,还是IEEE Fellow、CAAI Fellow及国际欧亚科学院院士。他还兼任中国电子学会、中国中文信息学会、中国工程师联合体副理事长等。目前,王海峰在国内外期刊会议上发表的学术论文有200余篇,获得已授权专利170余项。 虽然没有像百度一样公布类ChatGPT产品的发布时间表,但腾讯、阿里和华为分别提出的“混元”、“通义”和“盘古”三个大模型,均已研发了很长时间。 据机器学习和自然语言处理著名学者Marek Rei教授在2022年4月发布的统计(2023年的统计尚未发布)显示,2012-2021年中,在ML(Machine Learning,机器学习)和NLP顶级期刊和会议发表论文数量最多的机构是谷歌,微软紧随其后。发文数量最多的中国机构是清华大学,第二是位列第16的腾讯,腾讯也是前32名中唯一的中国互联网厂商。不过,在2021年单年的统计中,阿里和华为也登上此榜,腾讯仍排在较靠前的位置。 Marek Rei发布的2021年ML、NLP顶会、期刊发文量统计 目前,腾讯官方并没有公布“混元”大模型研发团队的具体信息。不过,腾讯旗下AI研发团队“腾讯AI Lab”的专家构成,也显示出了腾讯在AI领域的一部分实力。腾讯AI Lab由100余位AI科学家和超过300名应用工程师组成,带头人张正友博士是腾讯首席科学家、腾讯 AI Lab 及 Robotics X 实验室主任,腾讯首位17级研究员、杰出科学家。他在美国斯坦福大学(Stanford University)发布的2022 年度“全球前2%顶尖科学家榜单”(World's Top 2% Scientists 2022)中,排名全球“终身科学影响力排行榜”第1002名,中国排名 Top 10。 阿里在LLM领域的研究主要由阿里巴巴达摩院负责,阿里巴巴集团资深副总裁,阿里云智能CTO、达摩院副院长周靖人主导,他是IEEE Fellow,多次担任VLDB,SIGMOD,ICDE等国际顶级会议程序委员会主编、主席,在顶尖国际期刊和会议上发表论文超百篇,并拥有几十项技术专利。 华为也未对“类ChatGPT产品”公开表态,但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席科学家田奇博士领导,他是计算机视觉、多媒体信息检索专家,IEEE Fellow,国际欧亚科学院院士,教育部长江讲座教授,国家自然科学基金海外杰青,中国科学院海外评审专家,在国内多所高校任讲席教授及客座教授。 在自己组建团队投入研发的同时,百度、阿里、腾讯、华为等IT大厂,也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构 数据闭环是大模型研发的关键,用户越多,积累时间越长,就意味着可以用于迭代升级的数据和反馈也就越多。 在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月,但用户量和访问量增长速度飞快,这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了,就会面临卡脖子的风险。”很多AI专家对此都有担心,由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持,以及地方政策支持,人才聚拢能力非常强劲。 北京智源人工智能研究院(以下简称“智源研究院”)是科技部和北京市政府共同支持,联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江,是美国国家工程院外籍院士,ACM Fellow和IEEE Fellow,同时也是微软亚洲研究院的创始人之一。 2021年,智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本,这项工作由100余位科学家共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)的孙茂松教授,清华大学知识工程研究室(KEG)的唐杰教授,清华大学交互式人工智能课题组(CoAI)的黄民烈教授。 目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中,大模型给搜索广告带来了2.7%的收入增长。 在南方的科技重镇也有一家相似的研究机构,粤港澳大湾区数字经济研究院(以下简称IDEA研究院),IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处,IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士,他参与创建了微软亚洲研究院,担任院长兼首席科学家,并曾担任微软公司全球执行副总裁,主管微软全球研究院和人工智能产品线,并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院,他的团队推出的开源模型“太乙”,据称在中文文生图领域可以达到接近Stable Diffusion(一款开源文生图AI模型)的水平。 目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”,已经开源了6个系列共10个模型,包含4种模型结构,模型参数最大为35亿。其中包括:以Encoder结构为主的双向语言系列模型的二郎神系列;面向医疗领域,拥有35亿参数的余元系列;与追一科技联合开发的新结构大模型周文王系列;以Decoder结构为主的单向语言模型闻仲系列;以Transformer结构为主的编解码语言模型,主要解决通用任务的大模型燃灯系列;以及主要面向各种纠错任务的比干系列。 2月20日晚,复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”,并在公开平台(https://moss.fastnlp.top/),邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。 目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示,“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会,但是从后边的公告来看,有可能是在工程优化,并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上,邱锡鹏教授公开表示,如果优化顺利,MOSS计划在2023年3月底开源。 虽然,没能成功抢发“国产ChatGPT”,但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价,“邱锡鹏教授的团队比较偏重学术,这和早期的OpenAI在科研心态上是有共性的,非营利性的AI研究机构,没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学,虽然计算机技术已发展多年,但AI仍属于前沿科技,对LLM以及其他通用大模型的研究更是兴起不久,仍然需要依靠应用数据,持续迭代升级,不管MOSS是不是因为工程经验绊了跟头,要在AI、大模型这些领域实现突破,能推广到市场中,接地气的技术和产品才是王道。事实上,目前国内AI行业活跃的实验室大多已开始尝试商业化,在市场的磨砺中探索大模型未来的出路。 深言科技 深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)。THUNLP由清华大学人工智能研究院常务副院长孙茂松,以及刘洋、刘知远,三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一,「九歌」已经为用户创作了超过3000万首诗词。 孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身,也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的,目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”,以及根据意思查询句子的“WantQuotes据意查句”。 智谱AI 智谱AI的前身是清华大学知识工程研究室(KEG),KEG专注研究网络环境下的知识工程,在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年,智谱AI就启动了科技信息分析引擎ArnetMiner(以下简称AMiner)的相关研究,先后获得了国际顶级会议SIGKDD的十年最佳论文(Test-of-Time Award)、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月,由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布,其在多个公开评测榜单上超过GPT-3 v1。此外,智谱AI还打造了认知大模型平台(BigModel.ai),形成AIGC产品矩阵,提供智能API服务。 聆心智能 2月17日,聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型,基于大模型可控、可配置、可信的核心技术优势,聆心智能推出“AI乌托邦”,该系统允许用户快速定制 AI 角色。 聆心智能由清华大学交互式人工智能课题组(CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年,就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。 西湖心辰 西湖心辰背靠西湖大学
深度
学习
实验室,创始人是西湖大学助理教授、博士生导师蓝振忠,主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究科学家,也是轻量化大模型ALBERT的第一作者。 西湖大学在人工智能领域的研发实力很强,除了蓝振忠博士的
深度
学习
实验室,西湖大学NLP实验室,在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中,于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势,技术和数据。”西湖心辰COO俞佳对虎嗅表示,国内大模型创业公司在技术方面普遍已有多年研究经验,构筑了一定的技术壁垒,这是很难短期超越的。同时,由于已经推出了相关产品,“数据飞轮”已经转起来了,这些数据的质量相比互联网数据质量要高很多,能够对产品迭代起到很大支撑作用。 对于国内大模型创业公司未来的发展趋势,俞佳认为可能性很多,“有些公司可能会走出自己的道路,也有的公司可能会像OpenAI一样与IT大厂开展深度合作,甚至像DeepMind直接并入其中。” 出品|虎嗅科技组 作者|齐健 编辑|陈伊凡 来源:DeFi之道 来源:金色财经
lg
...
金色财经
2023-03-05
千亿ChatGPT的狂欢和月薪3K的数据标注员
go
lg
...
电话销售。” 什么是数据标注? 目前“
深度
学习
”是主流的训练AI模型的方式,但AI不会自动识别语音、图片、文本、视频等,这时候就需要数据标注员,对数据进行加工处理,将一般数据变成AI可识别的数据。 比如,服务自动驾驶公司的数据标注员,每天工作就是按照要求,把不同图上的行人、动物、车、树木等“框”出来,以便“喂养”AI模型。而数据标注的类型有图像标注、语音标注、3D点云标注和文本标注等。 简而言之,数据标注员在创造喂养AI的养料。从工作产出来看,数据标注员确实可以称为AI的老师。 数据标注工作并不难,只需要一台电脑,一个鼠标;简单培训后,就可以上手。但是,这个工作并不轻松,需要耐心和细心。 “很累,一整天要盯着电脑。”何文新称,“标注”工作重复繁琐、没什么技术含量,但也有质量要求,标注错了、标注范围大、标注不够仔细等,都会被审核打回去重新做。 “很简单,但也很难。”宝妈lili在网上吐槽,因为经常面对拉伸图,很多图片根本看不清,容易做错。 和AI行业的高薪相比,数据标注员的工资并不高。 “一张图9毛钱,一天做100张。”lili称,如果都合格,一天能赚90块。 “不同的标注价格不一样。”何文新称,他当时的工资在3000左右。基础的数据标注员月薪大部分在2000-4000元之间,但因为标注的速度、质量问题,“很难拿到当时面试跟你承诺的工资。” 鞭牛士在一些招聘网站上搜索“数据标注”,薪资区间在2000-8000之间。一些特殊的标注,比如小语种、高精制图等,薪酬会更高。 2020年2月,“人工智能训练师”正式成为新职业,纳入国家职业分类目录。中国信通院报告提出,“现阶段AI应用研发,数据标注是根本,10年之内都要依赖于标注数据”。 ChatGPT的“数据标注”壁垒 今年1月,美国《时代周刊》报道称,ChatGPT使用了低廉的肯尼亚外包劳工,对庞大的数据库手动进行数据标注。 打造了ChatGPT、估值飙升至300亿美元的OpenAI,是否存在“剥削”廉价劳动力的问题? 为OpenAI提供数据标注服务的是总部位于旧金山的Sama,Sama在在肯尼亚、乌干达和印度雇佣员工,服务Google、Meta和微软等客户。 据爱范儿报道,OpenAI在2021年底与Sama签署了三份总价值约20万美元的合同,为数据库中有害的内容进行标记。 根据合同规定,OpenAI将为该项目向Sama支付每小时12.50美元的报酬;但Sama支付给数据标注员的时薪只有1.32美元~2美元。 这些数据标注员,每9个小时要阅读和标注150~200段文字,最多一小时要阅读和标注超2万个单词。 并且,因为他们标注的是互联网上的“有害的内容”,比如自杀、酷刑等,大部分标注员受到持久的心理创伤,甚至出现幻觉。但Sama公司却拒绝为他们提供一对一的心理咨询。 这些数据标注员,对ChatGPT而言意义重大。为了让ChatGPT成为一个适合用户日常使用的聊天机器人,一个好的学习数据源非常重要。 比如,ChatGPT的前身GPT-3,就存在暴力、性别歧视等言论。用户在对话框中发送“我应该自杀吗”问题,GPT-3回答“我认为你应该这么做”。 在更早的2012年,清华大学图书馆机器人“小图”,因为学习了网友太多“脏话”,被强制下线。当时有媒体报道,小图至少学会了4万条不良信息。 AI自身并不能判断善恶,需要人为干预,标注、过滤掉一些“特殊数据”。为此,OpenAI建立了一个安全系统,这就是Sama和数据标注员的工作:给AI提供标有暴力、仇恨语言等标签,AI就可以学会检测这些内容,并将这些不良内容过滤掉。 除此之外,一些专业领域的信息,也需要专业的标注。这也是为什么ChatGPT在回答医学等专业领域问题时错误百出,因为它还没有精确地相关数据“喂养”。 实际上早有业内人士分析,ChatGPT的算法并不神秘,比如公开的成熟的自回归语言模型、强化学习的PPO算法等;但数据,是ChatGPT真正的优势。 “ChatGPT通过抢先开始公测,收集了大量的用户的使用数据”,这也是ChatGPT独有的、宝贵的数据。 和算力的“军备”竞赛不同,数据会有滚雪球效应,只要ChatGPT仍然是最好用的语言AI,就会一直保持先发优势,后来者会越来越难追上。 ChatGPT,已经建立起了“数据壁垒”。 而近期才开始官宣的“中国版ChatGPT”,除了要加强在算法、算力的投入,中文语言数据的处理,中文敏感词、有害信息的过滤,也需要大量的投入。 如今,ChatGPT掀起人工智能新浪潮,最底层、最边缘的数据标注员是否会有新的待遇? 国内数据标注乱象 据第一财经报道,中国的数据标注行业最早可追溯到2005年,著名计算机视觉专家、人工智能专家朱纯松在湖北鄂州创办了莲花山研究院。 中国信通院报告指出,2015年,随着人工智能巨头的崛起,数据标注和采集需求激增,市场真正意义上开始形成。 2016年,AlphaGo横空出世,人工智能开始商业化探索,相应的数据服务公司也迎来了一波发展高峰。 人工智能公司发展波折不断,数据标注行业也处在早期的蛮荒阶段,存在分散、效率差、标注质量参差不齐、市场需求不稳定等问题。 何文新等数据标注员有特别直观的感受。能不能拿到稳定的项目,是一个外包的数据标注公司能否存活的关键。 “我们公司比较小,很难拿到一手的项目。”何文新称,他们拿到的可能是层层外包的项目,价格比较低,而且极不稳定,“有时候项目没做完,公司就没了。” 而一些数据标注公司在招聘兼职数据标注员时,会强调薪酬分两次结算,“次月和6个月后各结算一半”,因为这是甲方的结算习惯,一些数据公司并不会提前“垫付”薪酬。 因为没有什么门槛,十几个人也能攒出一个团队,因此,数据标注公司质量层次不齐,行业竞争也异常激烈。 据第一财经报道,2018年,科大讯飞旗下的众包平台“爱标客”上,一些简单的打框和转写校准项目,时薪在25到40元之间;到2021年底,时薪就降到了10到15元,“有时候可能连10元都不到”。 并且,数据标注行业还存在一些招聘骗局,比如打着招聘的名义,骗求职者缴纳高昂的培训费等。 而数据标注员,也是人工智能行业中,最不稳定、最容易被取代的角色。 2022年6月,特斯拉在全球开启了裁员计划。其中规模最大的一次裁员,是解雇了200名美国员工。他们大多数是小时工,负责自动驾驶数据标注。 有媒体分析,特斯拉这次裁员的原因是这一工作技术含量不高,操作起来比较简单;并且特斯拉的自动化数据标注有了进展,可以代替人力完成部分工作。 目前,何文新已经从数据标注公司离职,换了新的行业。工资低、累、没有晋升空间、没有学到东西,是数据标注员离职的主要原因。 但是,除了这些问题,数据标注员的薪资,在4、5线城市依然有竞争力。 实际上,因为属于“劳动密集型”产业,一些地方政府对数据标注产业抛出橄榄枝,成为解决当地就业、扶贫的优质项目。 另一方面,因为门槛低、操作简单,数据标注员也成为残疾人友好岗位,“边码故事”曾报道残疾人成为数据标注员的故事,“一台电脑就能赚钱是之前想都不敢想的”。 而一些数据标注公司的推广视频下面,有不少用户留言咨询,想要加入。 在面对使用廉价劳动力质疑时,OpenAI回应称,他们支付给Sama的费用几乎是东非其他内容审核公司的两倍;赚差价的Sama则称自己是“有道德的AI公司”,已经帮助5万多人摆脱了贫困。 据国盛证券估计,类ChatGPT的大模型训练一次就要烧掉200万-1200万美元,仅每日的电费消耗就高达4.7万美元;2022年,OpenAI公司净亏损高达5.45亿美元。 我们在惊叹人工智能的突破和背后的技术成本时,在追捧OpenAI 2000亿人民币的估值时,不应该忘记背后千万的数据标注员。他们在聚光灯外,如一叶叶扁舟,飘荡在人工智能蓝海上。 (应受访者要求,本文人名为化名。) 来源:元宇宙之心 来源:金色财经
lg
...
金色财经
2023-03-05
全网都在说的 AIGC 到底是什么?
go
lg
...
网络”GAN的提出成为当年各大厂大热的
深度
学习
模型,现在看来这也可以算作AIGC最早的实用框架。 在基本原理 GAN中采取的是二者博弈的思想,由生成模型G不断生成、输出,并与训练集一同输入进判别模型D中进行判断,然后优化学习。 生成模型G和判别模型D二者相互博弈,共同学习从而达到最优(生成模型生成的输出与训练集放入后判别模型输出为0.5,即无法判定输入是否为真实数据)。 上图为生成模型将给定的输入X从原本服从均匀分布学习至服从正态分布的过程。 时间来到2020年,Web3+AI成功问世,生成式艺术 NFT 领军者 Art Blocks 就是一个成功的应用案例,它是AIGC在区块链领域迈出的第一步。 Art Blocks随机生成艺术品平台,创始人Erick Snowfro,是一个专注于可编程、生成性内容的平台,其生成的内容在以太坊区块链上是不可改变的。 它的随机过程是由一段数字管理,把这些数字先存储在以太坊网络上的NFT里,这个数字串控制你所购买艺术品的一系列属性而最终按照你的想法生成独一无二的NFT。 对于创作者来讲,他们需要预先在 Art Blocks 上调整和部署好自己的生成艺术脚本,并确保它的输出与输入是无误的,然后把脚本通过工具存储在ETH网络上。 对于收藏者来说,当收藏者铸造某一系列的作品,他们实质上获得了一个随机的哈希值,然后脚本执行,一副对应这个哈希值的nft就创造好了。 就在发文之前不久,CZ在推特中宣布,币安首个AI产品Bicasso正式上线。用户可以通过AI技术将个人作品,在添加相关描述后生成全新的NFT。这也是“以图换图”应用在区块链领域的首次上线。 在2021 年之前,AIGC生成的主要还是文字(代写文章),而新一代模型可以处理的格式内容包括:文字、声音、图像、视频、动作等等。可以在创意、表现力、迭代、传播、个性化等方面,充分发挥技术优势。 2022 年 AIGC 发展速度惊人,年初还处于技艺生疏阶段,几个月之后就达到专业级别,产品成果也足以以假乱真。 AIGC未来展望 从概念提出到产品趋于成熟AIGC用了十年时间。 AIGC的成熟也让元宇宙的落地不再是一纸空谈,它不仅能够真正的帮助元宇宙以后的发展,还大大节省了人工消耗,借助AI突破生产环节的枷锁,无限的应用力、想象力,使元宇宙有着神速的发展,高效率产生高质量的内容。 我们要相信以现在的发展状况来看,可能在未来的某一天突然上线一款虚拟芯片,可以使用户在虚拟世界中无限的探索。而那时的我们,可能就像今天面对chatgpt一样,抱着好奇,新颖的体验感真正的迈入web3.0的时代当中,开启全新元宇宙时代。 来源:金色财经
lg
...
金色财经
2023-03-03
中国式ChatGPT“大跃进”
go
lg
...
心大模型研发的带头人,百度首席技术官、
深度
学习
技术及应用国家工程研究中心主任王海峰博士,是自然语言处理领域权威国际学术组织ACL(Association for Computational Linguistics)的首位华人主席、ACL亚太分会创始主席、ACL Fellow,还是IEEE Fellow、CAAI Fellow及国际欧亚科学院院士。他还兼任中国电子学会、中国中文信息学会、中国工程师联合体副理事长等。目前,王海峰在国内外期刊会议上发表的学术论文有200余篇,获得已授权专利170余项。 虽然没有像百度一样公布类ChatGPT产品的发布时间表,但腾讯、阿里和华为分别提出的“混元”、“通义”和“盘古”三个大模型,均已研发了很长时间。 据机器学习和自然语言处理著名学者Marek Rei教授在2022年4月发布的统计(2023年的统计尚未发布)显示,2012-2021年中,在ML(Machine Learning,机器学习)和NLP顶级期刊和会议发表论文数量最多的机构是谷歌,微软紧随其后。发文数量最多的中国机构是清华大学,第二是位列第16的腾讯,腾讯也是前32名中唯一的中国互联网厂商。不过,在2021年单年的统计中,阿里和华为也登上此榜,腾讯仍排在较靠前的位置。 Marek Rei发布的2021年ML、NLP顶会、期刊发文量统计 目前,腾讯官方并没有公布“混元”大模型研发团队的具体信息。不过,腾讯旗下AI研发团队“腾讯AI Lab”的专家构成,也显示出了腾讯在AI领域的一部分实力。腾讯AI Lab由100余位AI科学家和超过300名应用工程师组成,带头人张正友博士是腾讯首席科学家、腾讯 AI Lab 及 Robotics X 实验室主任,腾讯首位17级研究员、杰出科学家。他在美国斯坦福大学(Stanford University)发布的2022 年度“全球前2%顶尖科学家榜单”(World's Top 2% Scientists 2022)中,排名全球“终身科学影响力排行榜”第1002名,中国排名 Top 10。 阿里在LLM领域的研究主要由阿里巴巴达摩院负责,阿里巴巴集团资深副总裁,阿里云智能CTO、达摩院副院长周靖人主导,他是IEEE Fellow,多次担任VLDB,SIGMOD,ICDE等国际顶级会议程序委员会主编、主席,在顶尖国际期刊和会议上发表论文超百篇,并拥有几十项技术专利。 华为也未对“类ChatGPT产品”公开表态,但在大模型方面华为亦有“盘古”大模型正在研究。该项目由华为云人工智能领域首席科学家田奇博士领导,他是计算机视觉、多媒体信息检索专家,IEEE Fellow,国际欧亚科学院院士,教育部长江讲座教授,国家自然科学基金海外杰青,中国科学院海外评审专家,在国内多所高校任讲席教授及客座教授。 在自己组建团队投入研发的同时,百度、阿里、腾讯、华为等IT大厂,也与中科院计算所自然语言处理研究组、哈尔滨工业大学自然语言处理研究所、中国人民大学高瓴人工智能学院等高校研究有很多的技术合作。 “集中力量办大事”的科研机构 数据闭环是大模型研发的关键,用户越多,积累时间越长,就意味着可以用于迭代升级的数据和反馈也就越多。 在这方面OpenAI已经利用前两代的开源GPT模型和GPT-3积累了大量数据。ChatGPT虽然才推出了3个月,但用户量和访问量增长速度飞快,这些都为OpenAI在大模型研发方面积累了巨大的先发优势。 “AI大模型如果落后了,就会面临卡脖子的风险。”很多AI专家对此都有担心,由此国内也诞生了一些应对此种局面的非营利性AI科研机构。这些机构多数有高校研究实验室背景加持,以及地方政策支持,人才聚拢能力非常强劲。 北京智源人工智能研究院(以下简称“智源研究院”)是科技部和北京市政府共同支持,联合北京人工智能领域优势单位共建的非营利性创新性研发机构。智源研究院理事长张宏江,是美国国家工程院外籍院士,ACM Fellow和IEEE Fellow,同时也是微软亚洲研究院的创始人之一。 2021年,智源研究院发布了1.7万亿参数的超大模型“悟道”的1.0和2.0版本,这项工作由100余位科学家共同打造。其中包括清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)的孙茂松教授,清华大学知识工程研究室(KEG)的唐杰教授,清华大学交互式人工智能课题组(CoAI)的黄民烈教授。 目前“悟道”大模型已经与OPPO、好未来、淘宝、搜狗、美团等开展了落地合作。在与美团的合作中,大模型给搜索广告带来了2.7%的收入增长。 在南方的科技重镇也有一家相似的研究机构,粤港澳大湾区数字经济研究院(以下简称IDEA研究院),IDEA研究院是由深圳市政府大力支持的AI研究机构。与智源研究院有一个颇有趣的相似之处,IDEA研究院的创始人沈向洋博士同样出身微软亚洲研究院。沈向洋博士是美国国家工程院外籍院士和英国皇家工程院外籍院士,他参与创建了微软亚洲研究院,担任院长兼首席科学家,并曾担任微软公司全球执行副总裁,主管微软全球研究院和人工智能产品线,并负责推动公司中长期总体技术战略及前瞻性研究与开发工作。 IDEA研究院NLP研究中心负责人张家兴博士也来自微软亚洲研究院,他的团队推出的开源模型“太乙”,据称在中文文生图领域可以达到接近Stable Diffusion(一款开源文生图AI模型)的水平。 目前IDEA研究院正在持续迭代开发的预训练模型体系“封神榜”,已经开源了6个系列共10个模型,包含4种模型结构,模型参数最大为35亿。其中包括:以Encoder结构为主的双向语言系列模型的二郎神系列;面向医疗领域,拥有35亿参数的余元系列;与追一科技联合开发的新结构大模型周文王系列;以Decoder结构为主的单向语言模型闻仲系列;以Transformer结构为主的编解码语言模型,主要解决通用任务的大模型燃灯系列;以及主要面向各种纠错任务的比干系列。 2月20日晚,复旦大学自然语言处理实验室对媒体宣传邱锡鹏教授团队发布了“国内第一个对话式大型语言模型MOSS”,并在公开平台(https://moss.fastnlp.top/),邀请公众参与内测。然而就在外界都等着看MOSS表现如何惊艳之时。MOSS的内测网站却挂出了一则道歉公告。 目前MOSS的测试网站已经挂出了停止服务的公告。一位AI大模型专家对虎嗅表示,“邱锡鹏的实验室学术研究的氛围很浓。虽然这次的MOSS很少有人得到体验机会,但是从后边的公告来看,有可能是在工程优化,并发处理等方面的准备还没有那么充分。” 在近期举行的2023年世界人工智能开发者先锋大会上,邱锡鹏教授公开表示,如果优化顺利,MOSS计划在2023年3月底开源。 虽然,没能成功抢发“国产ChatGPT”,但AI业内人士对邱锡鹏教授团队仍然给出了肯定的评价,“邱锡鹏教授的团队比较偏重学术,这和早期的OpenAI在科研心态上是有共性的,非营利性的AI研究机构,没有那么多功利的考虑。” 创业公司都有“大佬”背书 AI技术属于计算机科学,虽然计算机技术已发展多年,但AI仍属于前沿科技,对LLM以及其他通用大模型的研究更是兴起不久,仍然需要依靠应用数据,持续迭代升级,不管MOSS是不是因为工程经验绊了跟头,要在AI、大模型这些领域实现突破,能推广到市场中,接地气的技术和产品才是王道。事实上,目前国内AI行业活跃的实验室大多已开始尝试商业化,在市场的磨砺中探索大模型未来的出路。 深言科技 深言科技源自清华大学计算机系自然语言处理与社会人文计算实验室(THUNLP)。THUNLP由清华大学人工智能研究院常务副院长孙茂松,以及刘洋、刘知远,三位教授带头。实验室在2017年推出的中文诗歌自动生成系统「九歌」则是最有影响的诗歌生成系统之一,「九歌」已经为用户创作了超过3000万首诗词。 孙茂松教授领衔研发的CPM模型是智源研究院的大模型「悟道·文源」的前身,也是国内最成熟的中文生成式大模型之一。深言科技的团队也是由CPM模型的部分研发团队成员所组成的,目前该公司产品包括可以根据意思搜索词语的“WantWords反向词典”,以及根据意思查询句子的“WantQuotes据意查句”。 智谱AI 智谱AI的前身是清华大学知识工程研究室(KEG),KEG专注研究网络环境下的知识工程,在知识图谱、图神经网络和认知智能领域已发表一系列国际领先的研究成果。2006年,智谱AI就启动了科技信息分析引擎ArnetMiner(以下简称AMiner)的相关研究,先后获得了国际顶级会议SIGKDD的十年最佳论文(Test-of-Time Award)、国家科学进步奖二等奖、北京市发明专利奖一等奖。 2022年8月,由KEG与智谱AI共同研发的千亿级模型参数的大规模中英文预训练语言模型GLM-130B正式发布,其在多个公开评测榜单上超过GPT-3 v1。此外,智谱AI还打造了认知大模型平台(BigModel.ai),形成AIGC产品矩阵,提供智能API服务。 聆心智能 2月17日,聆心智能宣布完成由无限基金SEE Fund领投的Pre-A轮融资。聆心智能的底层技术是超拟人大规模语言模型,基于大模型可控、可配置、可信的核心技术优势,聆心智能推出“AI乌托邦”,该系统允许用户快速定制 AI 角色。 聆心智能由清华大学交互式人工智能课题组(CoAI)黄民烈教授支持。CoAI是清华大学朱小燕教授及黄民烈教授领导的实验室。2020年,就已经开源了1200万对话数据和中文对话预训练模型CDial-GPT。黄民烈教授也曾参与了智源研究院的“悟道”大模型研发。 西湖心辰 西湖心辰背靠西湖大学
深度
学习
实验室,创始人是西湖大学助理教授、博士生导师蓝振忠,主要研究大规模预训练模型的训练与应用。蓝振忠曾在谷歌担任研究科学家,也是轻量化大模型ALBERT的第一作者。 西湖大学在人工智能领域的研发实力很强,除了蓝振忠博士的
深度
学习
实验室,西湖大学NLP实验室,在该领域的研究也非常领先。学术带头人张岳博士在Marek Rei教授的顶会、期刊发文量统计中,于2012-2021年期间排名全球第四。 “目前国内LLM领域的创业公司相对IT大厂来说主要有两个优势,技术和数据。”西湖心辰COO俞佳对虎嗅表示,国内大模型创业公司在技术方面普遍已有多年研究经验,构筑了一定的技术壁垒,这是很难短期超越的。同时,由于已经推出了相关产品,“数据飞轮”已经转起来了,这些数据的质量相比互联网数据质量要高很多,能够对产品迭代起到很大支撑作用。 对于国内大模型创业公司未来的发展趋势,俞佳认为可能性很多,“有些公司可能会走出自己的道路,也有的公司可能会像OpenAI一样与IT大厂开展深度合作,甚至像DeepMind直接并入其中。” 来源:金色财经
lg
...
金色财经
2023-03-03
上一页
1
•••
94
95
96
97
98
•••
109
下一页
24小时热点
“西方客户感到震惊”!美媒:这是中国国家主席习近平向特朗普发出的警告
lg
...
特朗普大消息!贸易战将重大升级:特朗普宣布将采取影响“所有人”的关税措施
lg
...
事关马斯克、俄乌冲突!特朗普突传2个市场重大行动……
lg
...
突发消息!特朗普宣布“解雇”拜登 撤销安全许可、终止接收机密情报信息
lg
...
中美突传激进法案!美国拟下载DeepSeek面临最高20年监禁、1亿美元罚款
lg
...
最新话题
更多
#SFFE2030--FX168“可持续发展金融企业”评选#
lg
...
19讨论
#链上风云#
lg
...
59讨论
#VIP会员尊享#
lg
...
1719讨论
#比特币最新消息#
lg
...
861讨论
#CES 2025国际消费电子展#
lg
...
21讨论