作者:Vitalik,以太坊创始人;翻译:金色财经0xjs
上个月,Marc Andreessen发表了他的“技术乐观主义宣言”,主张重新燃起对技术的热情,并将市场和资本主义作为构建技术和推动人类走向更加光明的未来的手段。该宣言明确拒绝它所描述的停滞意识形态,这种意识形态害怕进步并优先考虑保护当今世界。这份宣言受到了很多关注,包括 Noah Smith, Robin Hanson, Joshua Gans (较为正面)以及 Dave Karpf, Luca Ropek, Ezra Klein(较为负面)等许多人的回应文章。James Pethokoukis 的《保守的未来主义者》和 Palladium 的《是时候为善而建》与本宣言无关,但主题相似。本月,我们在 OpenAI 争议中看到了类似的争论,其中涉及许多围绕超级人工智能的危险以及 OpenAI 发展太快的可能性的讨论。
我自己对技术乐观主义的感受是温暖的,但又微妙。我相信,由于彻底变革的技术,未来将比现在更加光明,并且我相信人类和人性。我拒绝这样的心态,即我们应该尽力做的最好的事情就是让世界与今天大致相同,但更少的贪婪和更多的公共医疗保健。然而,我认为不仅多少很重要,方向也很重要。某些类型的技术比其他类型的技术更可靠地让世界变得更好。某些类型的技术如果得到开发,可以减轻其他类型技术的负面影响。世界对某些技术发展方向的指数过高,而对另一些方向的指数偏低。我们需要人类主动的意图来选择我们想要的方向,因为“利润最大化”的公式不会自动到达它们。
在这篇文章中,我将讨论技术乐观主义对我意味着什么。这包括更广泛的世界观,它激励我在某些类型的区块链和密码学应用程序和社会技术以及我表示感兴趣的其他科学领域开展工作。但对这个更广泛问题的看法也对人工智能和许多其他领域产生影响。我们技术的快速进步可能会成为二十一世纪最重要的社会问题,因此仔细思考它们很重要。
目录
一、技术是惊人的,延迟它的成本非常高
二、人工智能与其他技术有着根本的不同,值得特别小心
三、d/acc:防御(或去中心化,或差异)加速度
四、那么超级智能的前进道路是什么?
五、d/acc与你现有的理念兼容吗?
六、人类是最亮的星
在某些圈子里,人们普遍低估技术的好处,并将其主要视为反乌托邦和风险的根源。在过去的半个世纪中,这往往源于对环境的担忧,或者源于对“利益只会惠及富人,而富人将巩固对穷人的权力”的担忧。最近,我也开始看到自由主义者开始担心某些技术,因为担心这些技术会导致权力中心化。这个月,我做了一些民意调查,提出了以下问题:如果一项技术必须受到限制,因为它太危险而不能自由使用,他们会更愿意它被垄断还是推迟十年?我惊讶地发现,在三个平台和三种垄断者选择中,一致压倒性地投票支持推迟。
因此,有时我担心我们矫枉过正,许多人错过了论点的反面:技术的好处确实巨大,在我们可以衡量的轴上,好处远远超过了坏处,而成本即使是十年的延迟也是令人难以置信的高。
举一个具体的例子,我们来看一张预期寿命图表:
我们看到了什么?上个世纪,取得了真正的巨大进步。全世界都是如此,无论是历史上富裕和占主导地位的地区,还是贫穷和被剥削的地区。
一些人指责技术制造或加剧了极权主义和战争等灾难。事实上,我们可以在图表上看到战争造成的死亡人数:一个是在 1910 年代(第一次世界大战),一个是在 1940 年代(第二次世界大战)。如果你仔细观察,西班牙流感、Great Leap Foward等非军事悲剧也可见一斑。但该图表清楚地表明了一件事:即使是如此可怕的灾难,也会被那个世纪以来食品、卫生、医疗和基础设施方面不断进步的巨大程度所压倒。
我们日常生活的巨大改善也反映了这一点。多亏了互联网,世界上大多数人都可以轻松获取二十年前无法获得的信息。由于国际支付和金融的改善,全球经济变得更加便利。全球贫困正在迅速减少。有了在线地图,我们不再需要担心在城市里迷路,如果你需要快速回家,我们现在可以更方便地叫车。我们的财产变得数字化,我们的实物商品变得便宜,这意味着我们对实物盗窃的恐惧要减少很多。在线购物缩小了全球大城市与世界其他地区之间获取商品的差距。自动化以各种方式为我们带来了永远被低估的好处,即让我们的生活变得更加便利。
这些改进,无论是可量化的还是不可量化的,都是巨大的。在二十一世纪,很可能很快就会出现更大的改进。如今,终结衰老和疾病似乎是乌托邦。但从1945 年计算机的角度来看,将芯片融入几乎所有东西的现代时代似乎是乌托邦:甚至科幻电影也经常将计算机像房间那么大。如果生物技术在未来 75 年中的进步与计算机在过去 75 年中的进步一样多,那么未来可能会比几乎任何人的预期更加令人印象深刻。
与此同时,对进步表示怀疑的论点往往走向黑暗。即使是医学教科书,比如 20 世纪 90 年代的这本医学教科书(归功于Emma Szewczak的发现),有时也会做出极端的主张,否认两个世纪医学科学的价值,甚至认为拯救人类生命显然没有什么好处:
“增长的极限”论是 20 世纪 70 年代提出的一个观点,认为不断增长的人口和工业最终将耗尽地球有限的资源,最终激发了中国的独生子女政策和印度的大规模强制绝育。在早期时代,对人口过剩的担忧被用来为大规模屠杀辩护。这些自 1798 年以来一直争论不休的观点长期以来都被证明是错误的。
正是由于这些原因,作为一个起点,我发现自己对减缓技术或人类进步的论点感到非常不安。鉴于所有行业之间的相互关联程度,即使是行业放缓也存在风险。因此,当我写下类似我将在这篇文章后面所说的内容时,背离对无论其形式如何的进步的公开热情,这些都是我怀着沉重的心情发表的声明。然而,21 世纪足够不同和独特,这些细微差别值得考虑。
也就是说,在更广阔的前景中需要注意一个重要的细微差别,特别是当我们超越“技术作为一个整体是好的”而进入“哪些特定技术是好的?”这一主题时。在这里,我们需要谈谈许多人主要关心的问题:环境。
过去百年几乎一切都在变得更好的趋势中,一个主要的例外是气候变化:
即使气温持续上升的悲观情景也不会导致人类真正的灭绝。但这种情况可能会比大规模战争造成更多的死亡,并严重损害人们已经陷入困境的地区的健康和生活物资。瑞士再保险研究所的一项研究表明,最坏的气候变化情景可能会使世界上最贫穷国家的 GDP 降低多达 25%。这项研究表明,印度农村地区的寿命可能会比正常情况下缩短十年,而像这样的研究和这项研究表明,到本世纪末,气候变化可能会导致一亿人额外死亡。
这些问题都是大问题。对于为什么我对我们克服这些挑战的能力持乐观态度,我的回答是双重的。首先,经过数十年的炒作和一厢情愿的想法,太阳能终于迎来了转机,电池等支持技术也取得了类似的进展。其次,我们可以看看人类在解决以前的环境问题方面的记录。以空气污染为例。来认识一下过去的反乌托邦:1952 年的伦敦大烟雾。
从那以后发生了什么?让我们再问一下我们的数据世界:
事实证明,1952 年甚至还不是高峰:在 19 世纪末,更高浓度的空气污染物才刚刚被接受和视为正常。从那时起,我们经历了一个世纪的持续快速污染下降。我在访问中国时亲身经历了这一点:2014年,空气中雾霾严重,估计会使预期寿命减少五年以上,这是正常的,但到了2020年,空气似乎变得干净起来和许多西方城市一样。这不是我们唯一的成功故事。在世界许多地方,森林面积正在增加。酸雨危机正在改善。几十年来,臭氧层一直在恢复。
对我来说,这个故事的寓意就是这样。通常情况下,我们文明技术的 N 版本确实会导致问题,而 N+1 版本会修复它。然而,这不会自动发生,需要人为的努力。臭氧层正在恢复,因为通过《蒙特利尔议定书》等国际协议,我们使其恢复了。空气污染正在改善,因为我们改善了它。同样,太阳能电池板并没有得到很大的改善,因为它是能源技术树中预定的一部分。太阳能电池板已经变得越来越好,因为几十年来人们意识到解决气候变化的重要性,这促使工程师致力于解决这个问题,也促使公司和政府资助他们的研究。解决这些问题的是有意识的行动,通过公共话语和文化来协调,塑造政府、科学家、慈善家和企业的观点,而不是无情的“技术资本机器”。
我看到的许多关于人工智能的轻蔑态度都来自这样的观点:它“只是另一种技术”:与社交媒体、加密、避孕、电话、飞机、枪支、印刷、车轮属于同一类事物。这些事情显然具有非常重要的社会影响。它们不仅仅是对个人福祉的孤立改善:它们从根本上改变了文化,改变了权力平衡,并伤害了严重依赖先前秩序的人们。许多人反对他们。总的来说,悲观主义者的结果总是错误的。
但可以用不同的方式来思考人工智能是什么:它是一种正在迅速获得智力的新型思维,并且很有可能超越人类的智力,成为地球上新的顶尖物种。这一范畴中的事物变革要少得多:其可能会包括人类超越猴子、多细胞生命超越单细胞生命、生命本身的起源,也许还包括机器在体力方面超越人类的工业革命。突然间,感觉我们正走在人迹罕至的地方。
人工智能出错可能是使世界变得更糟的(几乎)最糟糕的一种方式:它实际上可能导致人类灭绝。这是一个极端的说法:尽管气候变化、人为流行病或核战争等最坏情况可能造成多大的伤害,但仍有许多文明岛屿完好无损,可以收拾残局。但超级智能人工智能如果决定与我们为敌,很可能没有幸存者,并永远终结人类。即使是火星也可能不安全。
担心的一个重要原因集中在工具融合上:对于超级智能实体可能拥有的非常广泛的目标,人工智能可以采取两个非常自然的中间步骤来更好地实现这些目标,即(i)消耗资源,以及(ii) )确保其安全。地球蕴藏着大量资源,而人类对地球的安全构成了可预见的威胁。我们可以尝试给AI一个明确的爱人类、保护人类的目标,但我们不知道如何实际做到这一点,可以在AI遇到意外情况时完全停止它。因此,我们遇到了问题。
2022 年对机器学习研究人员的一项调查显示,平均而言,研究人员认为人工智能有 5-10% 的几率真正杀死我们所有人:与统计上预期的非生物原因死亡比如受伤的概率大致相同。
这都是一个推测性假设,我们都应该警惕涉及复杂的多步骤故事的推测性假设。然而,这些论点已经经受了十多年的审查,因此,似乎至少值得担心一点。但即使你不担心真正的灭绝,也有其他原因让你感到害怕。
许多现代科幻小说都是反乌托邦的,对人工智能的描述很糟糕。即使是非科幻小说试图确定可能的人工智能未来,也常常给出相当不吸引人的答案。所以我四处询问这个问题:无论是科幻小说还是其他形式,关于我们希望生活在其中的超级人工智能的未来的描述是什么?迄今为止最常出现的答案是Iain Banks的文化(Culture)系列。
《Culture》系列讲述了一个遥远未来的星际文明,主要由两种角色占据:普通人类和被称为“心灵”的超级智能人工智能。人类得到了增强,但只是轻微的增强:医疗技术理论上允许人类无限期地生存,但大多数人选择只活 400 年左右,似乎是因为他们对那时的生活感到厌倦。
从表面上看,人类的生活似乎是美好的:舒适,健康问题得到照顾,娱乐选择多种多样,人与“心灵”之间存在着积极的协同关系。然而,当我们深入思考时,就会发现一个问题:似乎“心灵”完全掌控一切,而人类在故事中的唯一角色就是充当“心灵”的棋子,代表他们执行任务。
引用Gavin Leech 的《反对“文化”》:
人类并不是主角。即使书中似乎有一个人类主角,做着严肃的大事,但他们实际上是人工智能的代理人。(Zakalwe是唯一的例外之一,因为他可以做“心灵”不想做的不道德的事情。)“‘文化’中的思想不需要人类,但人类又需要被需要。” (我认为只有一小部分人需要被需要——或者说,只有一小部分人需要它足以放弃许多舒适。大多数人的生活规模不那么大。这仍然是一个很好的批评。)
人类所承担的项目存在不真实的风险。几乎他们所做的任何事情,机器都可以做得更好。你能做什么?如果你从正在攀爬的悬崖上掉下来,你可以命令“心灵”不要抓住你——只是因为;你可以删除你头脑中的备份,这样你就真的在冒险了。你也可以离开“文化”并重新加入一些老式的、不自由的“强烈评价”的文明。另一种选择是通过加入“接触(Contact)”来传播自由。
我认为,即使是文化系列中赋予人类“有意义”的角色也是一种延伸。我问 ChatGPT(还有谁也问了?)为什么人类被赋予了他们被赋予的角色,而不是“心灵”自己去做所有的事情,我个人发现它的答案相当平淡。似乎很难拥有一个由人工智能主导的“友好”的超级智能世界,其中人类除了宠物之外什么都不是。
许多其他科幻系列都假设了一个存在超级智能人工智能的世界,但它们接受(未增强的)生物人类大师的命令。《星际迷航》就是一个很好的例子,它展示了带有人工智能“计算机”(和数据)的星际飞船与人类操作员之间和谐相处的愿景。然而,这感觉像是一种极其不稳定的平衡。《星际迷航》的世界目前看来是田园诗般的,但很难想象它对人类与人工智能关系的愿景不只是一个过渡阶段,星际飞船将完全由计算机控制,并且不再为宽敞的走廊、人造重力和气候控制而困扰。
向超级智能机器发出命令的人类远不如机器聪明,而且它能获取的信息也更少。在一个存在任何程度竞争的宇宙中,人类处于次要地位的文明将胜过那些人类顽固地坚持控制的文明。此外,计算机本身可能会夺取控制权。要了解原因,请想象你在法律上是一个八岁孩子的奴隶。如果你能和孩子长时间交谈,你认为你能说服孩子在一张纸上签字,让你获得自由吗?我没有进行过这个实验,但我本能的回答是肯定的。总而言之,人类成为宠物似乎是一个很难逃脱的想法。
中国有句俗话“天高皇帝远”,概括了政治集权局限性的一个基本事实。即使在一个名义上庞大的专制帝国中——事实上,特别是如果专制帝国规模很大,领导层的影响力和注意力也存在实际限制,领导层需要委托给当地代理人来执行其意志,这削弱了其执行其意图的能力,因此总有一些地方存在一定程度的实际自由。有时,这可能会带来负面影响:缺乏执行统一原则和法律的遥远国家,可能会为当地豪强的盗窃和压迫创造空间。但如果中心化权力作恶,注意力和距离的实际限制可能会限制其作恶程度。
有了人工智能,就不再是这样了。二十世纪,现代交通技术使得距离的限制对中央集权的约束比以前弱得多。20 世纪 40 年代巨大的极权主义帝国在一定程度上是其结果。在二十一世纪,可扩展的信息收集和自动化可能意味着注意力也将不再是一种限制。政府的自然限制完全消失的后果可能是可怕的。
数字威权主义已经兴起了十年,监控技术已经为威权政府提供了镇压反对派的强大新策略:让抗议发生,但事后发现并悄悄追捕参与者。更一般地说,我基本担心的是,让 OpenAI 能够以500 名员工为一亿多客户提供服务的同类管理技术,也将让 500 人的政治精英,甚至 5 人的董事会,维持铁拳。覆盖整个国家。有了现代监控来收集信息,现代人工智能来解释信息,可能就无处藏身了。
当我们考虑人工智能在战争中的后果时,情况会变得更糟。下面是我复制的2019年搜狐著名帖子的翻译:
“不需要政治思想工作和战争动员”,主要是指战争最高指挥者只需考虑战局本身,就像下棋一样,而不用担心“骑士”和“车”在做什么棋盘此刻正在思考。战争变成了纯粹的技术竞争。
从更深层次来说,“思想政治工作和战争动员”要求任何人发动战争必须有正当理由。正当理由这个观念几千年来制约了人类社会战争的合法性,其意义不容小觑。任何想要发动战争的人都必须至少找到一个表面上合理的理由或借口。你可能会说这个限制很弱,因为从历史上看,它常常只是一个借口。例如,十字军东征的真正动机是掠夺和领土扩张,但它们是以上帝的名义进行的,即使目标是君士坦丁堡的虔诚信仰者。然而,即使是最弱的约束也仍然是约束!这个借口实际上阻止了战争贩子毫无节制地完全追逐他们的目标。即使像希特勒这样恶毒的人也不能直接发动战争;他不得不花费数年时间说服德国人民,高贵的雅利安种族需要为自己的生存空间而战。
如今,“人类互相监督”成为对独裁者发动战争或在内部压迫其公民的权力的重要制衡。它阻止了核战争,允许柏林墙打开,并在大屠杀等暴行中拯救了生命。如果军队是机器人,那么这项检查就完全消失了。独裁者可能会在晚上 10 点喝醉,在晚上 11 点对人们在推特上对他们的刻薄而感到愤怒,而机器人入侵舰队可能会在午夜之前越过边境,向邻国的平民和基础设施倾泻地狱之火。
以前的时代总是有一些遥远的角落,那里天高皇帝远,政权的反对者可以在那里重新集结和隐藏,并最终找到一种方法让事情变得更好,而21世纪的人工智能是极权主义的政权很可能对世界保持足够的监视和控制,以永远“锁定”。
在过去的几个月里,“e/acc”(“有效加速主义者”)运动获得了很大的支持。“Beff Jezos”在此总结,e/acc 从根本上讲是对技术进步真正带来的巨大好处的认识,以及加速这一趋势以更快带来这些好处的愿望。
我发现自己在很多情况下都赞同e/acc的观点。有大量证据表明FDA在推迟或阻止药物批准方面过于保守,而生物伦理学似乎常常遵循这样的原则:“在医学实验出错中死亡 20 人是一个错误”。悲剧,但20万人因救生治疗被延误而死亡只是一个统计数字”。批准新冠病毒检测和疫苗以及疟疾疫苗的延迟似乎进一步证实了这一点。然而,这种观点可能走得太远了。
除了与人工智能相关的担忧之外,我对e/acc对军事技术的热情感到特别矛盾。在 2023 年的当前背景下,美国正在制造这项技术并立即应用于保卫乌克兰,很容易看出它如何成为一股正义的力量。然而,从更广泛的角度来看,对现代军事技术作为一种正义力量的热情似乎需要相信,在现在和未来的大多数冲突中,占主导地位的技术力量将可靠地成为好人之一:军事技术是好的,因为军事技术是由美国建造和控制的,而美国是好的。成为一名 e/acc 是否需要成为一名美国最大主义者,将一切都押在政府现在和未来的道德以及国家未来的成功上?
另一方面,我认为需要新的方法来思考如何降低这些风险。OpenAI的治理结构就是一个很好的例子:它似乎是一种善意的努力,旨在平衡盈利的需要,以满足提供初始资本的投资者的愿望,并希望进行制衡,以阻止OpenAI 炸毁全世界的风险动。然而,在实践中,他们最近试图解雇Sam Altman,使该结构看起来像是一次彻底的失败:它将权力集中在一个由五人组成的不民主且不负责任的董事会中,该董事会根据秘密信息做出关键决策,并拒绝透露有关该推理决策的任何细节。不知何故,非营利组织的董事会表现得如此糟糕,以至于公司的员工临时创建了一个事实上的工会……站在亿万富翁首席执行官一边反对他们。
总的来说,我看到太多拯救世界的计划,其中包括赋予一小群人极端和不透明的权力,并希望他们明智地使用它。因此,我发现自己被一种不同的哲学所吸引,这种哲学对于如何应对风险有详细的想法,但它寻求创建和维护一个更加民主的世界,并试图避免将集权作为解决我们问题的首选。这一理念也比人工智能更广泛,我认为即使在人工智能风险担忧基本上没有根据的世界中,它也适用。我将用d/acc的名称来引用这一哲学。
dacc3
这里的“d”可以代表很多东西;特别是防御、去中心化、民主和差别。首先,考虑一下防御,然后我们可以看看这与其他解释有何联系。
思考技术宏观后果的一个框架是考虑防御与进攻的平衡。从广义上讲,某些技术使攻击他人变得更容易:做违背他们利益的事情,他们觉得有必要做出反应。其他人则使防御变得更容易,甚至在不依赖大型中心化参与者的情况下进行防御。
出于多种原因,有利于防御的世界是一个更好的世界。首先当然是安全的直接好处:更少的人死亡,更少的经济价值被破坏,更少的时间浪费在冲突上。但人们较少意识到的是,一个有利于防御的世界使得更健康、更开放和更尊重自由的治理形式更容易蓬勃发展。
一个明显的例子是瑞士。瑞士通常被认为是现实世界中最接近古典自由主义治理乌托邦的国家。大量权力下放给各省(称为“州”),重大决策由公民投票决定,许多当地人甚至不知道总统是谁。这样一个国家如何能够承受极具挑战性的政治压力?部分原因是出色的政治战略,但另一主要部分是其山区地形非常有利于防御的地理。
国旗是一个很大的优点。但山也是如此。
James C Scott的新书《不受统治的艺术》中对赞米亚的无政府主义社会进行了著名的描述,这是另一个例子:他们也能保持自由和独立,这在很大程度上要归功于山区地形。与此同时,欧亚草原与治理乌托邦完全相反。Sarah Paine对海上强国与大陆强国的阐述也提出了类似的观点,尽管重点是把水作为防御屏障,而不是山脉。事实上,自愿贸易的便利性和非自愿入侵的难度的结合,对于瑞士和岛国来说都是共同的,这似乎是人类繁荣的理想选择。
在为以太坊生态系统内的二次融资实验提供建议时,我发现了一个相关的现象:特别是Gitcoin Grants 融资轮次。在第四轮中,一些收入最高的接收者是 Twitter 影响者,他们的贡献被一些人视为积极的,而另一些人则视为消极的,由此引发了一场小型丑闻。我自己对这种现象的解释是,存在一种不平衡:二次融资可以让你表明你认为某件事是公共利益,但它无法表明某事是公共坏事。在极端情况下,完全中立的二次融资系统将为战争双方提供资金。因此,对于第 5 轮,我建议 Gitcoin 应该包含负贡献:你支付 1 美元来减少给定项目收到的资金量(并隐式地将其重新分配给所有其他项目)。结果:很多人讨厌它。
第五轮之后流传的众多网络meme之一。
在我看来,这似乎是一个更大模式的缩影:创建去中心化的治理机制来应对负外部性在社会上是一个非常困难的问题。去中心化治理出错的首选例子是暴民正义,这是有原因的。人类心理学中有些东西使得对消极情绪的反应比对积极情绪的反应更加棘手,而且更有可能出错。这就是为什么即使在高度民主的组织中,如何应对负面影响的决定也往往由中央委员会决定。
在许多情况下,这个难题是“自由”概念如此有价值的深层原因之一。如果有人说了一些冒犯你的话,或者有一种你认为恶心的生活方式,你感受到的痛苦和厌恶是真实的,你甚至可能会发现接触这些事情比身体挨打更糟糕。但是,试图就哪些类型的冒犯和厌恶行为在社会上可以采取行动达成一致,可能比简单地提醒自己某些怪人和混蛋是我们生活在自由社会所付出的代价要付出更大的代价和危险。
然而,在其他时候,“微笑并忍受”的做法是不现实的。在这种情况下,有时值得关注的另一个答案是防御技术。互联网越安全,我们就越不需要侵犯人们的隐私并使用不正当的国际外交策略来追捕每个黑客。我们越能构建用于在 Twitter 上屏蔽用户的个性化工具、用于检测诈骗的浏览器内工具以及用于区分错误信息和真相的集体工具,我们就越不需要与审查制度作斗争。我们制造疫苗的速度越快,我们就越不需要追捕超级传播者。这样的解决方案并不适用于所有领域——我们当然不想要一个每个人都必须穿着真正的防弹衣的世界——但在我们可以构建技术使世界更有利于防御的领域,这样做有巨大的价值。
这种核心思想,即某些技术有利于防御,值得推广,而另一些技术有利于进攻,应该予以阻止,它植根于有效的利他主义文献中,但有一个不同的名称:差异化技术开发。牛津大学的研究人员从 2022 年开始对这一原则进行了很好的阐述:
图 1:差异化技术开发减少负面社会影响的机制。
将技术分类为进攻性、防御性或中性时不可避免地会存在缺陷。就像“自由”一样,人们可以争论社会民主党政府的政策是通过征收重税和胁迫雇主来减少自由,还是通过减少普通人对多种风险的担忧来增加自由,“防御”也有一些技术这可能属于光谱的两边。核武器有利于进攻,但核能有利于人类繁荣且攻防中立。不同的技术在不同的时间范围内可能发挥不同的作用。但就像“自由”(或“平等”或“法治”)一样,边缘的模糊性与其说是反对该原则的论据,不如说是一个更好地理解其细微差别的机会。
现在,让我们看看如何将这一原则应用到更全面的世界观中。我们可以将防御技术与其他技术一样分为两个领域:原子世界和比特世界。反过来,原子世界可以分为微观(即生物学,后来的纳米技术)和宏观(即我们通常认为的“防御”,但也包括有弹性的物理基础设施)。我将在不同的轴上划分比特的世界:原则上同意攻击者是谁有多难?。有时很容易;我称之为网络防御。其他时候则比较困难;我称之为信息防御。
宏观领域最被低估的防御技术甚至不是铁穹(包括乌克兰的新系统)和其他反技术和反导弹军事硬件,而是有弹性的物理基础设施。核战争造成的大部分死亡可能来自供应链中断,而不是最初的辐射和爆炸,而像星链这样的低基础设施互联网解决方案在过去一年半的时间里对于维持乌克兰的连接至关重要。
构建工具来帮助人们独立或半独立地独立或半独立地生存,甚至过上舒适的生活,这似乎是一项有价值的防御技术,而且被证明对进攻有用的风险很低。
让人类成为多行星文明的追求也可以从d/acc的角度来看待:让我们中的至少一些人在其他星球上自给自足地生活可以增强我们抵御地球上发生的可怕事情的能力。即使整个愿景暂时被证明不可行,为使这一项目成为可能而需要开发的自给自足的生活形式也很可能有助于提高我们地球上的文明复原力。
尤其是由于其对健康的长期影响,新冠病毒仍然是一个令人担忧的问题。但新冠疫情还远不是我们将面临的最后一场流行病。现代世界的许多方面都可能导致更多的流行病即将到来:
较高的人口密度使得空气中的病毒和其他病原体更容易传播。流行病在人类历史上相对较新,大多数都始于几千年前的城市化。持续快速的城市化意味着人口密度将在未来半个世纪进一步增加。
航空旅行的增加意味着空气中的病原体在全球范围内迅速传播。人们迅速变得富裕意味着未来半个世纪航空旅行可能会进一步增加;复杂性模型表明,即使是很小的增加也可能产生巨大的影响。气候变化可能会进一步增加这种风险。
动物驯化和工厂化养殖是主要的风险因素。麻疹可能是由不到 3000 年前的牛病毒进化而来的。今天的工厂化农场也在养殖新的流感毒株(并加剧抗生素耐药性,对人类先天免疫力产生影响)。
现代生物工程使得创造新的、毒性更强的病原体变得更加容易。实验室泄密事件一直在发生,而且工具正在迅速改进,使得故意制造极其致命的病毒,甚至朊病毒(僵尸蛋白)变得更加容易。人为瘟疫尤其令人担忧,部分原因是与核武器不同,它们是无法归因的:你可以释放病毒,而没有人能够知道是谁创造了它。现在就可以设计一个基因序列并将其发送到湿实验室进行合成,并在五天内将其运送给你。
在这一领域,CryptoRelief和Balvi这两个组织因 2021 年意外获得的大量Shib币而成立并获得了资金,它们一直非常活跃。CryptoRelief 最初专注于应对眼前的危机,最近一直在印度建立一个长期的医学研究生态系统,而 Balvi 一直专注于实验性项目,以提高我们检测、预防和治疗新冠病毒和其他空气传播疾病的能力。Balvi 坚持认为其资助的项目必须是开源的。受19 世纪战胜霍乱和其他水传播病原体的水工程运动的启发,它资助了一系列技术项目,这些技术可以使世界在默认情况下更加抵御空气传播的病原体(参见:更新 1和更新 2),包括:
远UVC照射研发
印度、斯里兰卡、美国等地的空气过滤和质量监测以及空气质量监测
廉价而有效的分去中心化空气质量检测设备
研究长新冠病毒的病因和潜在的治疗方案(主要原因可能很简单,但澄清机制和寻找治疗方法比较困难)
疫苗(例如RaDVaC、PopVax)和疫苗损伤研究
一套全新的非侵入性医疗工具
使用开源数据分析早期发现流行病(例如EPIWATCH)
测试,包括非常便宜的分子快速测试
当其他方法失败时,适合生物安全的口罩
其他有前景的领域包括病原体废水监测、改善建筑物的过滤和通风,以及更好地了解和减轻空气质量差带来的风险。
默认情况下,我们有机会建立一个更能抵御空气传播的流行病(无论是自然的还是人为的)的世界。这个世界将拥有一个高度优化的管道,我们可以从大流行开始,到被自动检测到,再到世界各地的人们能够获得有针对性的、本地制造的和可验证的开源疫苗或其他预防措施,通过雾化或鼻喷雾给药。(意思是:如果需要,可以自行给药,不需要针头),所有这些都在一个月内完成。与此同时,更好的空气质量将大大降低传播速度,并阻止许多流行病的蔓延。
想象一个不必诉诸社会强制大锤的未来——没有强制甚至更糟的措施,也没有设计和实施不当的强制措施的风险,这可能会让事情变得更糟——因为公共卫生基础设施已融入文明的结构中。这些世界是可能的,只要向生物防御提供中等数量的资金就可以实现这一目标。如果开发是开源的、免费向用户开放并作为公共产品受到保护,那么这项工作将会进行得更加顺利。
安全专业人士普遍认为,当前的计算机安全状况非常糟糕。也就是说,我们很容易低估所取得的进展。任何能够侵入用户钱包的人都可以匿名窃取数千亿美元的加密货币,虽然丢失或被盗的数量比我想象的要多得多,但事实上,其中大部分加密货币在过去十年里都没有被盗。最近,有了一些改进:
用户手机内的可信硬件芯片,有效地在手机内创建了一个更小的高安全操作系统,即使手机的其余部分遭到黑客攻击,该操作系统也能保持受到保护。在许多其他用例中,人们越来越多地探索这些芯片作为制造更安全的加密钱包的方法。
浏览器作为事实上的操作系统。在过去十年中,从可下载应用程序到浏览器内应用程序发生了悄然的转变。这在很大程度上是由WebAssembly (WASM)实现的。即使是 Adob Photoshop,长期以来一直被认为是许多人无法实际使用 Linux 的主要原因,因为它的必要性和与 Linux 的不兼容性,现在由于位于浏览器中而对 Linux 友好。这也是一个巨大的安全优势:虽然浏览器确实存在缺陷,但通常它们比已安装的应用程序具有更多的沙箱:应用程序无法访问计算机上的任意文件。
强化操作系统。用于移动设备的GrapheneOS已经存在,并且非常有用。桌面版QubesOS已存在;至少根据我的经验,它目前的可用性比Graphene要差一些,但它正在改进。
尝试超越密码。不幸的是,密码很难保护,因为它们很难记住,而且很容易被窃听。最近,越来越多的人开始减少对密码的重视,并使基于硬件的多因素身份验证真正发挥作用。
然而,其他领域网络防御的缺乏也导致了重大挫折。防范垃圾邮件的需要导致电子邮件在实践中变得非常寡头垄断,使得自我托管或创建新的电子邮件提供商变得非常困难。包括 Twitter 在内的许多在线应用程序都要求用户登录才能访问内容,并阻止 VPN 的 IP,这使得以保护隐私的方式访问互联网变得更加困难。软件中心化也存在风险,因为“武器化的相互依赖”:现代技术倾向于穿过中心化的阻塞点,而这些阻塞点的运营商利用这种权力来收集信息、操纵结果或排除特定参与者——这一策略目前似乎甚至被用来对抗区块链行业本身。
这些都是令人担忧的趋势,因为它威胁到了我历来最大的希望之一,即为什么自由和隐私的未来尽管存在深刻的权衡,但可能仍然是光明的。大卫·弗里德曼在他的《不完美的未来》一书中预测,我们可能会得到一个妥协的未来:现实世界将受到越来越多的监视,但通过密码学,网络世界将保留甚至改善其隐私。不幸的是,正如我们所看到的,这种反趋势远不能保证。
这就是我自己强调区块链和零知识证明等密码技术的地方。区块链让我们能够通过“共享硬盘”创建经济和社会结构,而不必依赖集中的参与者。加密货币允许个人储蓄并进行金融交易,就像在互联网出现之前用现金一样,而不依赖于可以随意改变其规则的可信第三方。它们还可以作为后备反女巫机制,即使对于没有或不想透露其真实空间身份的用户来说,攻击和垃圾邮件也会变得昂贵。账户抽象,尤其是社交恢复钱包,可以保护我们的加密资产以及未来潜在的其他资产,而无需过度依赖中心化中介机构。
零知识证明可以用于隐私,允许用户在不泄露私人信息的情况下证明自己的事情。例如,将数字护照签名封装在 ZK-SNARK 中,以证明你是特定国家/地区的唯一公民,而无需透露你是哪个公民。这样的技术可以让我们保持隐私和匿名的好处——这些属性被广泛认为是投票等应用程序所必需的——同时仍然获得安全保证并打击垃圾邮件和不良行为者。
ZK 社交媒体系统的拟议设计,可以进行审核操作并且可以对用户进行惩罚,而所有这些都不需要知道任何人的身份。
今年早些时候在Zuzalu孵化的Zupass就是实践中的一个很好的例子。这是一个应用程序,已被 Zuzalu 的数百人使用,最近在Devconnect被数千人用于票务,它允许你持有门票、会员资格、(不可转让的)数字收藏品和其他证明,并且在不损害你的隐私的情况下证明所有这些事情。例如,你可以证明你是 Zuzalu 的唯一注册居民或 Devconnect 票证持有者,而无需透露任何有关你身份的信息。这些证据可以通过二维码或数字方式亲自出示,以登录Zupoll等应用程序,这是一种仅向 Zuzalu 居民开放的匿名投票系统。
这些技术是 d/acc 原则的一个很好的例子:它们允许用户和社区在不损害隐私的情况下验证可信度,并保护他们的安全,而不依赖于强加他们自己定义谁好谁坏的中心化瓶颈。它们通过创建比当今使用的常用技术更好、更公平的方法来保护用户或服务的安全,例如歧视整个被认为不值得信任的国家,从而提高全球可访问性。如果我们想要在 21 世纪保持信息安全的去中心化愿景,这些都是非常强大的原语,它们可能是必要的。更广泛地研究网络空间防御技术可以使互联网在未来的非常重要的方面更加开放、安全和自由。
正如我所描述的,网络防御是指理性的人很容易就攻击者是谁达成共识的情况。如果有人试图侵入你的钱包,人们很容易认为黑客是坏人。如果有人试图对网站进行 DoS 攻击,人们很容易认为他们是恶意的,并且在道德上与试图阅读网站内容的普通用户不同。在其他情况下,界限更加模糊。在这些情况下改善我们防御的工具我称之为“信息防御”。
以事实核查(又名,防止“错误信息”)为例。我是社区笔记(Community Notes)的超级粉丝,它在帮助用户识别其他用户所发推文的真伪方面做了很多工作。Community Notes使用了一种新的算法,它不会显示最受欢迎的笔记,而是显示最受各个政治派别的用户认可的笔记。
Community Notes的实际应用。
我也是预测市场的粉丝,它可以帮助在尘埃落定之前实时识别事件的重要性,并就哪个方向达成共识。Polymarket上的Sam Altman非常有帮助,它对每小时的揭露和谈判的最终后果进行了有用的总结,为那些只看到个别新闻而不了解每个新闻的重要性的人们提供了急需的背景信息。
在区块链领域,我认为我们需要更多特定类型的信息防御。也就是说,钱包应该更加坚定和积极地帮助用户确定他们正在签名的内容的含义,并保护他们免受欺诈和诈骗。这是一个中间案例:什么是骗局、什么不是骗局,比对有争议的社会事件的看法更主观,但比区分合法用户和 DoS 攻击者或黑客更主观。Metamask 已经有一个诈骗数据库,并自动阻止用户访问诈骗网站:
像Fire这样的应用程序就是进一步发展的一种方法的例子。然而,像这样的安全软件不应该是需要显式安装的东西;默认情况下,它应该是加密钱包甚至浏览器的一部分。
由于其更主观的性质,信息防御本质上比网络防御更具集体性:你需要以某种方式融入一大群复杂的人来识别什么可能是真的或假的,以及什么样的应用程序是欺骗性的庞氏骗局。开发人员有机会在开发有效的信息防御和强化现有形式的信息防御方面走得更远。像Community Notes这样的东西可以包含在浏览器中,不仅涵盖社交媒体平台,还涵盖整个互联网。
在某种程度上,我可以合理地指责我通过将其中一些信息技术描述为与“防御”有关而硬塞。毕竟,防御是为了帮助善意的行为者免受恶意行为者(或者在某些情况下,免受自然)的侵害。然而,其中一些社交技术是为了帮助善意的参与者形成共识。
pol.is就是一个很好的例子,它使用类似于Community Notes(并且早于Community Notes)的算法来帮助社区识别子部落之间的共识点,否则这些子部落在很多方面都存在分歧。Viewpoints.xyz受到 pol.is 的启发,并且具有类似的精神:
此类技术可用于对有争议的决策进行更加去中心化的治理。同样,区块链社区是一个很好的试验场,并且此类算法已经显示出价值。一般来说,对以太坊协议进行哪些改进(“ EIP ”)的决定是由一个相当小的小组在名为“所有核心开发人员通话”的会议上做出的。对于大多数社区成员没有强烈感情的高度技术性决策,这种方法相当有效。对于影响协议经济学的更重要的决策,或更基本的价值观(如不变性和审查阻力),这通常是不够的。早在 2016 年 17 月,当时围绕实施DAO 分叉、减少发行和(而不是)解冻 Parity 钱包等一系列有争议的决定,Carbonvote 等工具以及社交媒体投票帮助社区和开发者找到了方向,当时社区大部分都面临着方向选择问题。
Carbonvote上的DAO分叉投票。
Carbonvote有其缺陷:它依赖 ETH 持有量来确定谁是以太坊社区的成员,从而导致结果由少数富有的 ETH 持有者(“鲸鱼”)主导。然而,借助现代工具,我们可以利用多种信号(例如POAP、Zupass 印章、Gitcoin 护照、Protocol Guild 会员资格以及 ETH(甚至是单独质押的 ETH)持有量等多种信号)来制作更好的 Carbonvote 来衡量社区成员资格。
任何社区都可以使用此类工具来做出更高质量的决策、找到共同点、协调(物理或数字)迁移或做许多其他事情,而无需依赖不透明的集中领导。这本身并不是防御加速,但肯定可以称为民主加速。这些工具甚至可以用来改善人工智能领域关键参与者和机构的治理并使之民主化。
上述一切都很好,可以使下个世纪的世界变得更加和谐、安全和自由。然而,它还没有解决房间里的大象:超级智能人工智能。
许多担心人工智能的人建议的默认前进道路本质上会导致一个最小的人工智能世界政府。该计划的近期版本包括一项关于“跨国 AGI 联盟”(“MAGIC”)的提案。这样的联盟如果成立并成功实现创造超级智能人工智能的目标,将自然而然地成为事实上的最小世界政府。从长远来看,存在诸如“关键行为”理论之类的想法:我们创建一个人工智能,它执行单个一次性行为,将世界重新安排成一个游戏,从那时起,人类仍然负责,但游戏板在其中在某种程度上更有利于防御并且更适合人类的繁荣。
到目前为止,我看到的主要实际问题是,人们似乎并不真正信任任何有能力构建这样的东西的特定治理机制。当你看看我最近的 Twitter 民意调查结果时,这个事实就变得显而易见了,我询问人们是否愿意看到人工智能被领先十年的单一实体垄断,或者人工智能为每个人推迟十年:
“让我们让一个全球性组织来做人工智能并使其治理真的非常好”路线的反对者首选的主要方法是多人工智能:有意尝试确保有很多人和公司开发大量人工智能,这样就不会出现任何问题。没有AI比其他AI更强大。按照理论,这样一来,即使人工智能变得超级智能,我们也可以保持权力平衡。
这种哲学很有趣,但我试图确保以太坊生态系统内的“多神论”的经验确实让我担心这是一种本质上不稳定的平衡。在以太坊中,我们有意尝试确保堆栈的许多部分的去中心化:确保没有单一代码库控制超过一半的权益证明网络,试图抵消大型质押池的主导地位,改善地理去中心化等等。从本质上讲,以太坊实际上是在尝试实现古老的自由主义梦想,即建立一个以市场为基础的社会,利用社会压力而不是政府作为反垄断监管者。在某种程度上,这已经奏效了:Prysm 客户端的主导地位已从 70% 以上下降到 45% 以下。但这并不是某种自动的市场过程:它是人类意图和协调行动的结果。
我在以太坊的经历反映了从整个更广阔的世界中学到的经验,其中许多市场已被证明是自然垄断的。由于超级智能人工智能独立于人类而行动,情况更加不稳定。由于递归的自我完善,最强的人工智能可能会很快领先,一旦人工智能比人类更强大,就没有任何力量可以推动事物恢复平衡。
此外,即使我们确实得到了一个由超级智能人工智能组成的多AI世界,并且最终稳定下来,我们仍然面临另一个问题:我们得到了一个人类成为宠物的宇宙。
我最近听到的另一种选择是减少对人工智能作为与人类分离的事物的关注,而更多地关注增强人类认知而不是取代人类认知的工具。
人工智能绘图工具就是朝这个方向发展的一个近期例子。如今,用最著名的AI生成图像工具制作图像只需一步,人类提供输入,然后人工智能完全接管。另一种选择是更多地关注 Photoshop 的 AI 版本:艺术家或 AI 可以使用这些工具制作图片的早期草稿,然后两者通过实时反馈过程合作改进它。
Photoshop 生成 AI 填充,2023 年。我尝试过,需要时间来适应,但实际上效果很好!
具有类似精神的另一个方向是开放机构架构,它建议将人工智能“思维”的不同部分(例如制定计划、执行计划、解释来自外部世界的信息)分成单独的组件,并引入不同的人类反馈在这些部分之间。
到目前为止,这听起来很平常,而且几乎每个人都同意拥有它会很好。经济学家Daron Acemoglu的著作与这种人工智能未来主义相去甚远,但他的新书《权力与进步》暗示希望看到更多此类人工智能。
但如果我们想进一步推断人类与人工智能合作的想法,我们会得到更激进的结论。除非我们建立一个足够强大的世界政府,能够检测并阻止每一小群人用笔记本电脑对单个 GPU 进行黑客攻击,否则最终有人会创造出一个超级智能的人工智能,一个思考速度比我们快一千倍的人工智能。并且没有任何组合人类用手使用工具将能够抵御这种情况。因此,我们需要将人机合作的理念进一步深化和深化。
第一个自然步骤是脑机接口。脑机接口可以让人类更直接地获得越来越强大的计算和认知形式,将人与机器之间的双向通信循环从几秒缩短到几毫秒。这也将大大减少让计算机帮助你收集事实、提出建议或执行计划的“脑力劳动”成本。
诚然,这样的路线图的后期阶段会变得很奇怪。除了脑机接口之外,还有多种途径可以通过生物学创新直接改善我们的大脑。最终的进一步步骤,合并这两条路径,可能涉及上传我们的思想以直接在计算机上运行。这也将是物理安全的最终目标:保护我们自己免受伤害不再是保护不可避免的湿软人体的挑战性问题,而是一个简单得多的数据备份问题。
这样的方向有时会引起担忧,部分原因是它们是不可逆转的,部分原因是它们可能会给有权势的人带来比我们其他人更多的优势。脑机接口尤其存在危险——毕竟,我们谈论的是字面上的读取和写入人们的思想。这些担忧正是为什么我认为在这条道路上发挥主导作用的理想选择是由以安全为中心的开源运动而不是封闭的专有公司和风险投资基金来担任。此外,与与人类密切相关的增强功能相比,独立于人类运行的超级智能人工智能所面临的所有这些问题都更加严重。由于谁可以和不可以使用 ChatGPT 的限制, “增强型”和“未增强型”之间的鸿沟如今已经存在。
如果我们想要一个既超级智能又“人类”的未来,人类不仅仅是宠物,而且实际上在世界上保留着有意义的代理权,那么感觉这样的事情是最自然的选择。对于为什么这可能是一条更安全的人工智能协调路径,也有很好的论据:通过在决策的每个步骤中纳入人类反馈,我们减少了将高层规划责任转移给人工智能本身的动机,从而减少了人工智能本身做了一些与人类价值观完全不相符的事情。
支持这一方向的另一个论点是,它可能比简单地大喊“暂停人工智能”而没有提供替代前进道路的补充信息更容易被社会接受。当前的心态需要进行哲学转变,即接触人类的技术进步是危险的,但与人类无关的进步默认是安全的。但它有一个巨大的反补贴优势:它为开发人员提供了一些事情可做。如今,人工智能安全运动向人工智能开发人员传达的主要信息似乎是“你应该停下来”。人们可以从事比对研究,但今天这缺乏经济激励。与此相比,常见的 e/acc 信息“你本来就是英雄”,这是可以理解的,非常有吸引力。 d/acc 的信息,即“你应该建造,并且建造有利可图的东西,但要更有选择性和更有意识地确保你正在建造的东西能够帮助你和人类繁荣发展”,可能会成为赢家。
如果你是e/acc,那么 d/acc 就是 e/acc 的一个亚种——只是一个更具选择性和有意性的亚种。
如果你是一个有效的利他主义者,那么 d/acc 是对差异化技术开发的有效利他主义理念的重新命名,尽管更加强调自由和民主价值观。
如果你是一个自由主义者,那么 d/acc 就是技术自由主义的一个亚种,尽管它是一种更加务实的自由主义,对“技术资本机器”更加批判,并且愿意接受今天的政府干预(至少,如果文化干预不起作用)以防止明天出现更糟糕的不自由。
如果你是Glen Weyl意义上的多元主义者,那么 d/acc 是一个框架,可以轻松地包含对多元性所重视的更好的民主协调技术的强调。
如果你是公共卫生倡导者,那么 d/acc 想法可以成为更广泛的长期愿景的来源,并提供与“技术人员”找到共同点的机会,否则你可能会觉得与“技术人员”存在分歧。
如果你是区块链倡导者,那么 d/acc 是一种比 15 年来对恶性通货膨胀和银行的强调更现代、更广泛的叙述,它将区块链作为具体战略中的众多工具之一纳入背景,以实现更加光明的未来。
如果你是一个Solarpunk,那么 d/acc 就是 Solarpunk 的一个亚种,并且同样强调意向性和集体行动。
如果你是一个lunarpunk,那么你会欣赏 d/acc 通过维护隐私和自由来强调信息防御。
我热爱科技,因为科技拓展了人类的潜力。一万年前,我们可以制造一些手工工具,改变一小块土地上生长的植物,并建造基本的房屋。今天,我们可以建造800 米高的塔楼,将人类记录的全部知识存储在我们可以随身携带的设备中,在全球范围内进行即时通信,使我们的寿命加倍,并过上幸福而充实的生活,而不必担心我们最好的生活朋友经常死于疾病。
我们从底层开始,现在我们走到这里。
我相信这些事情是非常好的,并且将人类的影响范围进一步扩大到行星和恒星也是非常好的,因为我相信人类是非常好的。在某些圈子里,对这一点持怀疑态度是很流行的:人类自愿灭绝运动认为,如果没有人类存在,地球会变得更好,而更多的人希望看到更少的人类看到这个世界的光明。未来的几个世纪。人们普遍认为人类是邪恶的,因为我们欺骗和偷窃,参与殖民主义和战争,以及虐待和消灭其他物种。我对这种思维方式的回答是一个简单的问题:与什么相比?
是的,人类常常是卑鄙的,但我们更多时候表现出善良和怜悯,并为了共同的利益而共同努力。即使在战争期间,我们也经常注意保护平民——当然还远远不够,但也远远超过我们 2000 年前所做的。下个世纪很可能会带来广泛使用的非动物性肉类,从而消除当今人类应承担的最大道德灾难。非人类的动物不是这样的。出于道德原则,猫不会采取完全拒绝吃老鼠的生活方式。太阳每年都变得越来越亮,预计在大约十亿年后,这将使地球变得太热而无法维持生命。太阳是否想过它会造成种族灭绝?
因此,我坚信,在我们所知道和看到的宇宙中的所有事物中,我们人类是最亮的星星。我们唯一知道的是,即使不完美,有时也会认真努力地关心“善”,并调整我们的行为以更好地服务于“善”。二十亿年后,如果地球或宇宙的任何部分仍然拥有地球生命的美丽,那么太空旅行和地球工程等人类的手段将使其成为现实。
我们需要建设并加速。但有一个非常现实的问题需要问:我们正在加速实现的目标是什么?21世纪很可能是人类的关键世纪,是决定我们未来几千年命运的世纪。我们是否陷入了无法逃脱的众多陷阱中的一个,或者我们是否找到了通往保留自由和能动性的未来的道路?这些都是具有挑战性的问题。但我期待着观看并参与我们人类寻找答案的伟大集体努力。
来源:金色财经