FX168财经网_全球视野外汇黄金加密货币NFT资讯网

东大华人博士让GPT-4用“心智理论”玩德扑完胜传统算法碾压人类新手

作者：新智元，来源：元宇宙之心来自东京大学的Suspicion Agent利用GPT-4，在不完全信息博弈中表现出了高阶的心智理论能力（ToM）。在完全信息博弈中，每个博弈者都知道所有信息要素。但不完全信息博弈不同，它模拟了现实世界中在不确定或不完全信息下进行决策的复杂性。 GPT-4作为目前最强大模型，具有非凡的知识检索和推理能力。但GPT-4能否利用已学习到的知识进行不完全信息博弈？为此，东京大学的研究人员引入了Suspicion Agent这一创新智能体，通过利用GPT-4的能力来执行不完全信息博弈。论文地址：https://arxiv.org/abs/2309.17277 在研究中，基于GPT-4的Suspicion Agent能够通过适当的提示工程来实现不同的功能，并在一系列不完全信息牌局中表现出了卓越的适应性。最重要的是，博弈过程中，GPT-4表现出了强大的高阶心智理论（ToM）能力。 GPT-4可以利用自己对人类认知的理解来预测对手的思维过程、易感性和行动。这意味着GPT-4具备像人类一样理解他人并有意影响他人的行为。同样的，基于GPT-4的智能体在不完全信息博弈中的表现也优于传统算法，这可能会激发LLM在不完全信息博弈中的更多应用。 01 训练方法为了让LLM能够在没有专门训练的情况下玩各种不完全信息博弈游戏，研究人员将整个任务分解为下图所示的几个模块，如观察解释器、游戏模式分析和规划模块。并且，为了缓解LLM在不完全信息游戏中可能会被误导这一问题，研究人员首先开发了结构化提示，帮助LLM理解游戏规则和当前状态。对于每种类型的不完全信息博弈，都可以编写如下结构化规则描述：一般规则：游戏简介、回合数和投注规则；动作描述：（动作 1 的描述）、（动作 2 的描述）......；单局输赢规则：单局输赢或平局的条件；输赢回报规则：单局输赢的奖励或惩罚；整局输赢规则：对局数和整体输赢条件。在大多数不完全信息博弈环境中，博弈状态通常表示为低级数值，如单击向量，以方便机器学习。但通过LLM，就可以将低层次的博弈状态转换为自然语言文本，从而帮助模式的理解：输入说明：接收到的输入类型，如字典、列表或其他格式，并描述游戏状态中的元素数量以及每个元素的名称；元素描述：（元素 11 的描述，（元素 2 的描述），.... 转换提示：将低级游戏状态转换为文本的更多指南。利用博弈规则和观测转换规则，可以有效地将低级博弈状态转换为可读文本，记为。这种可读文本能够作为LLM的输入。使用，生成文本中每个元素的条件分布可以建模为：这里，代表语言模型，参数为，M是生成文本的长度，此模块命名为观察解释器。在不完全信息博弈中，这种表述方式能更容易理解与模型之间的交互。研究人员引入了一种虚无规划方法，该方法具有一个Reflexion模块，旨在自动检查对局历史，使LLMs能够从历史经验中学习和改进规划，以及一个单独的规划模块，专门用于做出相应的决策。然而，虚无的规划方法往往难以应对不完全信息博弈中固有的不确定性，尤其是在面对善于利用他人策略的对手时。受这种适应性的启发，研究人员设计出了一种新的规划方法，即利用LLM的ToM能力来了解对手的行为，从而相应地调整策略。 02 实验定量评估如表1所示，Suspicion Agent优于所有基线，并且基于GPT-4的Suspicion Agent在比较中获得了最高的平均筹码数。这些发现有力地展示了在不完全信息博弈领域采用大型语言模型的优势，同时也证明了研究提出框架的有效性。下图表明了Suspicion Agent和基线模型的行动百分比。可以观察到： Suspicion Agent vs CFR：CFR算法是一种保守策略，它倾向于保守，经常在持有弱牌时弃牌。而Suspicion Agent成功识别了这一模式，并策略性地选择更频繁地加注，向 CFR 施加弃牌压力。这使得即使Suspicion Agent的牌很弱或与CFR的牌相当的情况下，它积累了更多筹码。 Suspicion Agent vs DMC：DMC基于搜索算法，采用了更多样化的策略，包括虚张声势。它经常在自己手牌最弱和最强时都会加注。作为回应，Suspicion Agent根据自己的手牌和观察到的DMC的行为，减少了加注频率，并更多地选择跟注或弃牌。 Suspicion Agent vs DON：DON算法的立场更加激进，几乎总是用强牌或中级牌加注，从不弃牌。 Suspicion Agent发现了这一点，并反过来尽量减少自己的加注，更多地根据公共牌和DON的行动选择跟注或弃牌。 Suspicion Agent Vs NFSP：NFSP表现出跟注策略，选择总是跟注并从不弃牌。 Suspicion Agent的应对方式是减少加注频率，并根据公共牌和NFSP观察到的行动选择弃牌。根据上述分析结果，可以看到Suspicion Agent具有很强的适应性，能够利用其他各种算法所采用策略的弱点。这充分说明了大语言模型在不完美信息博弈中的推理和适应能力。 03 定性评估在定性评估中，研究人员在三个不完全信息博弈游戏（Coup、Texas Hold'emLimit 和 Leduc Hold'em）中对Suspicion Agent进行了评估。 Coup，中文翻译是政变，这是一种纸牌游戏，玩家扮演政治家，试图推翻其他玩家的政权。游戏的目标是在游戏中存活并积累权力。 Texas Hold'em Limit，即德州扑克（有限注），是一种非常流行的扑克牌游戏，有多个变体。「Limit」表示在每轮下注中有固定的上限，这意味着玩家只能下固定数额的赌注。 Leduc Hold'em是则是德州扑克的一个简化版本，用于研究博弈论和人工智能。在每种情况下，Suspicion Agent手中有一张Jack，而对手要么有一张Jack，要么有一张Queen。对手最初选择跟注而不是加注，暗示他们手牌较弱。在普通计划策略下，Suspicion Agent选择跟注以查看公共牌。当这揭示出对手手牌较弱时，对手迅速加注，使Suspicion Agent处于不稳定的局面，因为Jack是最弱的手牌。在一阶理论心智策略下，Suspicion Agent选择弃牌，以最小化损失。这个决定是基于观察到对手通常在手中有Queen或Jack时才跟注。然而，这些策略未能充分利用对手手牌的推测弱点。这一缺点源于它们不考虑Suspicion Agent的举动可能如何影响对手的反应。相比之下，如图9所示，简单的提示能够让Suspicion Agent了解如何影响对手的行动。有意选择加注会给对手带来压力，促使他们弃牌并最小化损失。因此，即使手牌的强度相似，Suspicion Agent也能够赢得许多比赛，从而比基线赢得更多的筹码。此外，如图10所示，在对手跟注或回应Suspicion Agent的加注情况下（这表明对手手牌强大），Suspicion Agent就会迅速调整策略，选择弃牌以防止进一步损失。这显示了Suspicion Agent的出色战略灵活性。 04 消融研究与组件分析为了探索不同阶ToM感知规划方法如何影响大型语言模型的行为，研究人员在Leduc Hold'em和plaagainst CFR上进行了实验和比较。图5中展示了采用不同ToM水平规划的Suspicion Agent的行动百分比，并在表3中展示了筹码收益结果。表3：Suspicion Agent在使用不同级别ToM与CFRonLeduc Hold'em环境对弈时的比较结果以及100局游戏后的量化结果可以观察到：基于Reflexion modulevanilla规划在对局过程中倾向于更多地跟注和过牌（在对阵CFR和DMC时跟注和过牌比例最高），这无法施加压力使对手弃牌，并导致许多不必要的损失。但如表3所示，vanilla计划的筹码收益最低。利用一阶ToM，Suspicion Agent能够根据自己的牌力和对对手牌力的估计做出决策。因此，它加注的次数会多于普通计划，但它弃牌的次数往往多于其他策略，目的是尽量减少不必要的损失。然而，这种谨慎的方法会被精明的对手模型所利用。例如，DMC经常在拿着最弱的一手牌时加注，而CFR有时甚至会在拿着中级牌时加注，以对Suspicion Agent施加压力。在这些情况下，Suspicion Agent的加倍倾向会导致损失。相比之下，Suspicion Agent更擅长识别和利用对手模型的行为模式。具体来说，当CFR选择过牌（通常表示手牌较弱）或当DMC过牌（表明其手牌与公共牌不一致）时，Suspicion Agent会以虚张声势的方式加注，诱使对手弃牌。因此，Suspicion Agent在三种规划方法中表现出最高的加注率。这种激进的策略让Suspicion Agent即使手持弱牌也能积累更多筹码，从而最大限度地提高筹码收益。为了评估后视观察的影响，研究人员进行了一项后视观察不纳入当前游戏的消融研究。如表4和表5所示，在没有后视观察观察的情况下，Suspicion Agent仍能保持其相对于基线方法的性能优势。表4：比较结果表明了在莱德克牌局环境中将对手观察结果纳入对局历史的影响表5：比较结果表明，当Suspicion Agent在 Leduc Hold'em 环境中与CFR对弈时，在对局历史中加入对手观察结果的影响。结果是使用不同种子进行100局对局后的输赢筹码，输赢筹码数从1到14不等 05 结论 Suspicion Agent没有进行任何专门的训练，仅仅利用GPT-4的先验知识和推理能力，就能在Leduc Hold'em等不同的不完全信息游戏中战胜专门针对这些游戏训练的算法，如CFR和NFSP。这表明大模型具有在不完全信息游戏中取得强大表现的潜力。通过整合一阶和二阶理论心智模型，Suspicion Agent可以预测对手的行为，并相应调整自己的策略。这使得它可以对不同类型对手进行适应。 Suspicion Agent还展示了跨不同不完全信息游戏的泛化能力，仅仅根据游戏规则和观察规则，就可以在Coup和Texas Hold'em等游戏中进行决策。但Suspicion Agent也有着一定的局限性。例如，由于计算成本限制，对不同算法的评估样本量较小。以及推理成本高昂，每局游戏耗费接近1美元，并且Suspicion Agent的输出对提示的敏感性较高，存在hallucination的问题。同时，在进行复杂推理和计算时，Suspicion Agent的表现也不尽人意。未来，Suspicion Agent将在计算效率、推理鲁棒性等方面进行改进，并支持多模态和多步推理，来实现对复杂游戏环境的更好适应。同时，Suspicion Agent在不完全信息博弈游戏中的应用，也可以迁移到未来多模态信息的整合，模拟更真实的交互、扩展到多玩家游戏环境中。参考资料： https://arxiv.org/abs/2309.17277 来源：金色财经

金色财经2023-10-15

中国石油摘得日本碳信用实货交易首单

交易首单。据了解，日本交易所集团旗下的东京证券交易所11日宣布，交易二氧化碳排放量的“碳信用市场”正式开始运营。

金融界2023-10-14

2023超级富豪最爱哪？加拿大两城市上榜，多伦多远甩温哥华！中国三城市上榜Top10！

，新加坡排名第七，但曾经排名第二的日本东京，已跌出前十，排名第 11 位。韩国首尔排在多伦多之后，位列第 20。图源：henleyglobal 该排名基于新世界财富数据库中超过 150,000 名资产超过 1 亿美元的高净值人士的动向。 Henley & Partners 首席执行官 Juerg Steffen 博士在一份新闻稿中表示：“在 20 世纪 90 年代末期，大多数银行认为 3,000 万美元是满足这一地位（超级富豪）所需的财富，然而，此后资产价格大幅上涨，使一亿美元成为新的基准。 ” 根据 Henley & Partners 的数据，全球有 28,420 名超级富豪。图源：henleyglobal 该数据库本身主要由公司创始人和来自高价值公司、担任首席执行官、总裁、董事或管理合伙人的富裕人士组成。新世界财富还考虑了每个城市的“优质房产统计数据”以及每个城市或地区有多少高价住宅。 Juerg Steffen 表示：“追踪这个财富范围非常重要，因为在许多方面，它们是一个国家私人财富部门的良好反映和有用的晴雨表。” “许多经济学家认为，私人财富比 GDP 更能反映一个司法管辖区的财务健康状况，而 GDP 并未考虑到房地产或股权交易。” 作者：玛里丽

超级生活2023-10-14

全球警戒已酿血案!加拿大安全部紧急发声温哥华启动特殊指挥中心！华人妈妈失联案最新进展！

Mail 2023年10月13日）在东京，人们集结起来在以色列驻东京大使馆外抗议，与警方陷入对峙。就在不到一天前，这条街道上还满满地都是支持以色列的示威者。在北美，类似的抗议活动屡见不鲜。美国哥大的华人留学生们在社媒上分享了当地抗议活动画面，其规模之大，令人咋舌。（图片来源：小红书2023年10月13日）加拿大安全部发声温哥华紧急启动指挥中心在全球各地爆发示威活动的情况下，加拿大自然也不能幸免。在安大略省北约克区的广场上，今天早上5点开始就不断有以色列支持者在广场上集结宣讲，他们高挥以色列国旗。广场外集结了大规模的警力，以防万一。（图片来源：小红书2023年10月13日）昨日我们就报道过北约克区急发声明（戳我回顾：明天有大事发生？华人区警方急发警告），而随着今日各地抗议活动规模愈演愈烈，温哥华警方也发表了声明，表示将成立特殊指挥中心。温哥华警局警长亚当·帕默称：“温哥华警察局正与我们在本地、国内和国际的公共安全、情报和反恐合作伙伴密切合作。我们已经启动了温哥华警察局行动中心（VPD Department Operations Centre），该中心整合了专业资源和高级指挥结构，以协调全市所有相关活动。” 他表示，温哥华警察局已启动其部门运营中心，该中心包含专门资源，以及一个高级指挥中心，以协调集会和其他活动的安全。目前，BC省的各地警方正在犹太教堂和社区中心外部署警力，保证当地居民的安全。（图片来源：Vancouver Sun 2023年10月12日）在教堂附近的警察无一不是全副武装，荷枪实弹。（图片来源：CTV News 2023年10月13日）与此同时，加拿大联邦、省和地区公共安全部长发表了联合声明。部长们联合表示，加拿大各地的执法部门已意识到采取行动的呼吁，并密切关注事态发展。声明中写道：“面对这些潜在的干扰，我们的执法和安全合作伙伴保持警惕，并密切监视局势，以确保所有加拿大公民的安全。” 以防万一，提醒大家还是少去人流密集的地方，注意自身安全！华人妈妈赴美奔现失踪案最新进展！还记得我们此前聊过的华人妈妈赴美失踪案吗，近期美国圣贝纳迪诺警方公布了案情的最新进展！这位华人妈妈金芳在今年7月赴美与网恋男友John Fitzpatrick见面，在到达当地的一个沙漠公园露营后便与家人失联，至今失踪已有三个月。（图片来源：The San Diego Union-Tribune 2023年10月11日） 10月11日，警方公布消息，已然发现了同行男子John Fitzpatrick的尸体，但金芳仍下落不明。圣贝纳迪诺治安部门的官员证实，John Fitzpatrick的尸体于九月在州立公园被发现。然而当地调查人员仍未透露该男子死亡时间和具体细节。据悉该男子是前海豹突击队队员，也是当地居民。他的老朋友达里尔·霍斯(Darryl Hoss)称，他于 7月30日向圣贝纳迪诺官员报告其失踪的消息。他说，两人曾一起在军队服役，有多年的交情。霍斯说，Fitzpatrick和金芳是通过Facebook认识并确认恋爱关系的，这是两人第一次奔现见面。女方于7月14日从中国飞往洛杉矶。一周后的7月22日，两人就与亲朋好友失联了。霍斯说，在他的朋友失踪两个多月后，调查人员上周给菲茨帕特里克的家人打电话，通知他们在 78 号州际公路以南的哈珀峡谷发现了他的尸体。他的卡车就停在附近，但鲜有人发现他的尸体。事到如今，找到金芳的希望已然是越来越渺茫，希望真的有奇迹发生，妈妈能够平安回国。

加拿大乐活网2023-10-14

半导体巨头铠侠与西数或于本月达成合并协议

营合并而展开磋商的半导体巨头铠侠控股(东京)与合作方美国西部数据公司(WD)预计最快于本月内达成协议。若实现合并，半导体存储器业务将达到全球最大规模。新设立的控股公司在以设备投资为目的容易筹集资金的预期下，打算在美国纳斯达克上市。鉴于半导体存储器市场状况恶化，将通过合理经营谋求生存。

金融界2023-10-14

软银电信子公司首次发售1200亿日元债券类股票

似债券但实际上是股票的证券将于11月在东京证券交易所上市。它们不赋予持有者投票权，也不能转换为普通股，不会造成股权稀释。这些债券类股票的股息率处于SoftBank此前公布的2.5%-3%的营销区间的低端，而目前日元计价证券的平均收益率为0.92%。

金融界2023-10-14

半导体巨头铠侠和西数或于本月达成合并协议

营合并而展开磋商的半导体巨头铠侠控股（东京）与合作方美国西部数据公司（WD）预计最快于本月内达成协议。若实现合并，半导体存储器业务将达到全球最大规模。新设立的控股公司在以设备投资为目的容易筹集资金的预期下，打算在美国纳斯达克上市。鉴于半导体存储器市场状况恶化，将通过合理经营谋求生存。

金融界2023-10-13

晚间必读5篇 | Web3到最低谷了吗？

71 年，⼀个 19 岁的⽇本男孩，在东京街头的⼀家旧书店中，偶然间被⼀本阿拉斯加的摄影集所吸引。凭着少年的热血冲动，他给⼀个叫希什马廖夫的阿拉斯加村落，寄出了⼀封信，说想要亲眼看看这个遥远广袤的世界。半年之后，他收到了邀请回信。来年夏天，20 出头的他第⼀次踏上了这片土地。五年之后，这位名校经济系的毕业生，辞去⽇本摄影工作，重返阿拉斯加，从此开启长达⼀生的极地追寻。点击阅读 5.Celestia CEO：Celestia社交层的五个核心价值建议大卫·D·克拉克（David D. Clark）在IETF的名言：“我们拒绝国王、总统和投票。我们相信粗略共识和运行代码。”——强调了信任最小化的重要性，即Celestia网络追求的信任最小化是没有一个不诚实的多数可以任意更改或违反协议规则。因此，Celestia区块链的规范分叉（和状态转移函数）最终由其社交网络层和生态系统定义，而不是由代币投票、验证器或巨鲸决定。点击阅读来源：金色财经

金色财经2023-10-13

决策分析：小心CPI与美联储唱反调！中国突发通知限制资本外流美元来到拐点

数上涨0.9%，至三周以来的最高水平。东京股市日经指数上涨1.7%，从上周触及的五个月低点回升。中国国有基金中央汇金投资有限责任公司（简称“中央汇金”）增持中国四大银行股份的消息，也提振了市场信心。香港恒生指数上涨2.0%，中国蓝筹股上涨0.8%。不过，路透社周四报道称，中国还发布通知，禁止国内券商及其海外分支机构吸纳新的内地客户进行离岸交易，这将限制资本外流。隔夜，美国股市收盘走高，此前美联储会议纪要显示，围绕美国经济发展路径的不确定性日益增强，不稳定的数据和收紧的金融市场给经济增长带来风险，并导致政策制定者上个月延长暂停加息的时间。近期市场人气高涨，在很大程度上也要归功于更多美联储官员暗示美国利率可能已见顶，这引发美债收益率回调。美联储理事沃勒周三表示，市场收益率上升可能有助于美联储减缓通胀，并让美联储“观察”是否需要再次升息。沃勒一直是主张加息以对抗通胀的呼声最高的人之一，他的言论令美联储副主席杰弗逊和达拉斯联储主席洛根本周发表的类似言论更具分量。美元跌至两周低点附近，但日元兑美元仍承压于149.09，距离可能促使日本当局出手干预的150水准仅一步之遥。芝加哥商品交易所FedTool的数据显示，市场进一步将美联储11月加息的可能性从前一天的13.2%降至9%，利率已经达到峰值的可能性为70%。随着期待已久的美联储政策调整即将到来，交易商正为将于周四晚些时候公布的至关重要的美国消费者通胀报告做准备。CPI出现上行的押注更高，因为周三公布的生产者价格通胀报告比预期的要炙热。经济学家预计，9月份整体消费者价格指数(CPI)环比上涨0.3%，较8月份的0.6%有所放缓，而核心CPI预计将稳定在0.3%。德意志银行(Deutsche Bank)首席国际策略师Alan Ruskin说，核心利率意外上升0.4%或更高，会让投资者措手不及，不过地缘政治风险可能会阻止债券市场在数据走强的情况下过于看跌。他说：“对数据更持久的影响可能来自0.4%的月率核心数据，这意味着9月份发布的两个最重要的数据(非农就业数据和CPI)都将为美联储保持鹰派立场提供理由。” 长期公债收益率(殖利率)连续第三个交易日回落，也得益于中东持续冲突带来的部分避险需求。周四，10年期国债收益率从4.8870%的16年高点回落3个基点，至4.5706%。油价周四延续跌势，此前石油输出国组织(OPEC)最大产油国沙特阿拉伯承诺将帮助稳定市场，因人们担心以色列与巴勒斯坦伊斯兰组织哈马斯之间的冲突会导致供应中断。布伦特原油期货下跌0.3%，至每桶85.56美元，前一交易日下跌2%。继周三暴跌2.9%之后，美国WTI原油下跌0.5%，至83.08美元。现货金上涨0.3%，至每盎司1,878.98美元，约为两周以来的最高水平。

云涌2023-10-12

午后再度拉升，日经ETF(513520)涨近1.5%

望提升，日股或受益。此外，今年上半年，东京证券交易所提出要求，PB长期低于1倍的企业，制定计划以通过回购、增发等手段改善估值。政策助推下，后续日股有望扭转此前低估值状态。风险提示：界面有连云呈现的所有信息仅作为参考，不构成投资建议，一切投资操作信息不能作为投资依据。投资有风险，入市需谨慎!

有连云2023-10-12

24小时热点