存储:分布式存储+集中管理 2006年Amazon AWS上线,推出了EC2和S3云存储服务,至此存储进入了一个新时代,微软,谷歌,阿里等也纷纷跟进,成为现在应用最广的存储方式。 云存储应用了分布式存储架构,使用多台服务器分散存储数据,把数据分割在多个服务器备份,降低单点故障并具有减少数据冗余,可弹性拓展等特性。不过云储存的服务器都归云服务提供商集中管理,数据的实际控制权并不归属用户。 3、传统区块链存储:分布式、全节点存储+去中心化管理 自比特币诞生以来,区块链网络存储成为了一种与中心化存储与管理相对的方案,区块链通过分布式存储、共识机制和交易验证机制,确保了数据安全和不可篡改,同时满足了去中心化存储和去中心化管理的特点。 但是,比特币,以太坊等区块链网络的存储费用高,效率低,主要在于这些区块链的网络架构并不是从存储的角度去设计,每个节点都要存储一份数据副本,并且区块空间有限。以无聊猿NFT为例,在比特币或以太坊网络存储一张至少需要数百美元以上。 4、Web3去中心化存储:分布式、多节点存储+去中心化管理 因为直接在区块链上存储数据是非常昂贵的,便涌现了很多web3的去中心化存储方案及项目,如IFPS,Filecoin,Storj,Arweave,Swarm,EthStorage等,这些项目的目标是在保持去中心化存储与管理的基础上,增大存储空间和降低费用,通过数据分割、多节点存储、链上证明等技术组合来实现。 二、ETH模块化与世界计算机 1、ETH模块化 自2021年ETH规划以Rollup为中心的路线图开始,以太坊的模块化便开始建立,将单一全能链(*单片区块链)的各层次进行拆分,不同层的功能可以由不同的模块或链承担而进行扩容,这一方向也被Vitalik称为终局-Endgame。 以太坊为代表的区块链将链拆分成四个关键层级: (1)执行层 (*Execution Layer):事务处理,智能合约执行及计算等 (2)结算层(*Settlement Layer):验证执行结果,解决争议及结算状态承诺。 (3)共识层 (*Consensus Layer):决定交易的顺序性、有效性以及节点之间的一致性 (4)数据可用层(*Data Availability Layer):保证数据可以被使用,保证存储且可验证 在单片区块链链时,区块链是处理所有四个功能的链,会面临区块链“三难问题”。区块链模块化可将四个功能拆分到多个专门层中,分别解决不同问题。 在ETH进行模块化之后,ETH主链成为了L1,在此之上诞生了众多L2,主要来充当ETH的执行层,如OP Stack的L2技术也发展了模块化的架构,以增强未来的可拓展性。ETH通过模块化+Rollup的方向,在未来会主要保持数据可用层(*DA)和共识层,成为主流和最安全的基础层,其他层的功能通过其他的链和方案来升级,进行整个ETH生态的扩容和提高可拓展性。 2、世界计算机 以太坊的目标是构建一个世界超级计算机,当前以太坊在安全性上做的很好,但是在拓展性上还在进行突破,Rollup是解决拓展性的重要方向,模块化的方式可以一定程度解决区块链的三难问题,但是成为超级计算机,也需要面对三个难题,分别是共识、计算和存储。这三个难题也相互制约关系。 这个三难困境的不同优先级将导致不同的权衡: 强共识账本:本质上需要重复的存储和计算,因此不适合扩展存储和计算。 强计算能力:需要在执行大量计算和证明任务时重复使用共识,因此不适合大规模存储。 强存储能力:需要在执行频繁的随机抽样空间证明时重复使用共识,因此不适合计算。 当前,传统的L2 方案还面临中心化排序器与计算效率平衡的问题,同时无法提供强存储能力。《Towards World Supercomputer》一文的作者们提出了以世界计算机按功能分区为底层架构,分别进行拓展的方式来解决成为世界计算机的三难困境。 即最终的世界超级计算机将由三个拓扑异构的 P2P 网络组成,与构建物理计算机类似,通过零知识证明技术等无信任总线(*连接器)连接共识账本、计算网络和存储网络,组装成世界超级计算机。并可以根据特定应用的需要添加其他组件,适当选择和连接每个组件将实现共识账本、计算能力和存储容量三难困境的平衡,最终确保世界超级计算机的去中心化、高性能和安全性。其中,EthStorage在架构中充当超级计算机中存储板块的解决方案。 若基于该框架,以太坊的世界超级计算机交易过程将分为以下几个步骤: (1)共识:使用以太坊处理和达成交易共识。 (2)计算:zkOracle 网络通过快速验证由 zkPoS 作为总线传递的证明和共识数据,执行相关的链下计算。 (3)共识:在某些情况下,例如自动化和机器学习,计算网络将通过证明将数据和交易传回以太坊或 EthStorage。 (4)存储:对于从以太坊存储大量数据(*例如 NFT 元数据),zkPoS 充当以太坊智能合约和 EthStorage 之间的信使。 三、ETH Storage 1、简介 EthStorage 是第一个基于以太坊数据可用(*Data Availability)的基础上提供可编程的动态存储的二层解决方案,它能将以 1/100 倍到 1/1000 倍的成本将可编程存储扩展到数百 TB 甚至 PB 级别。 团队两次荣获以太坊基金会的资金(*Grant)扶持,帮助以太坊进行数据可用(*Data Availability)和使用以太坊 L1 合约的L2动态数据集存储证明方向的研究工作。并获得了2023 EDCON Spuer Demo的第一名。 2、技术特点 (1)高度集成ETH EthStorage的客户端是以太坊客户端 Geth的超集,这意味着运行EthStorage的节点的时候,依然可以正常参与以太坊的任何流程,一个节点可以是以太坊的验证者节点的同时也是EthStorage的数据节点。每个 EthStorage Nod 的Data Provider模块会跟其他EthStorage Node 的 Data Provider 发起建立连接请求,当它们互相连接之后,实际上就构成了一个去中心化存储网络。 使用EthStorage 的用户可以直接使用现有的钱包,与所有建立在存储之上的应用进行交互,无论是NFT,去中心化的社交网络还是去中心化的游戏,可以最大程度地降低用户进入 EthStorage的门槛。同时,兼容EVM的EthStorage可以给智能合约带来优秀的互操作性,比如用户A希望给自己mint的NFT设置一张图片,通过Ethstorage A只需要执行一笔以太坊交易,使用Arweave的时候,A需要提交1笔Arweave交易和两笔以太坊交易,并且没办法像EthStorage一样做到同步执行。 (2)基于DA层的L2去中心化解决方案 EthStorage 实际上采用的是类似L2的架构,在以太坊上会部署一个存储合约作为EthStorage的数据操作的入口,同时数据节点链下存储数据(*off chain storage data)的证明也需要通过这个合约验证。 与当前的L2对比: Rollup(L2) 链下存储的是状态树,链上的承诺 (*commitment) 是状态树根,同时Rollup在接受到新的数据之后还需要在链下执行交易来完成状态转化的过程,建立新的状态树; EthStorage链下存储的是数据,链上的承诺(*commitment)是数据存储的证明,同时EthStorage 接受到更新存储数据的请求之后,会重新为这些数据生成新的存储证明。 以上可以看出,当前的Optimism Rollup或者ZK-Rollup的扩容的方向是扩容以太坊的计算能力,而EthStorage Rollup 的扩容方向是扩容以太坊存储数据能力。 同时,EthStorage 是一个模块化的存储层,只要有 EVM,有 DA来减少存储成本,就可以在任何区块链上运行它(*但当前很多Layer1不具备DA层),甚至在 Layer2上也可以。例如,EthStorage目前正在考虑如何使用其技术在Optimism上实现欺诈证明。也在Optimism上启用了相应的DA层。 (3)可实现动态存储 Filecoin和Arweave从系统设计架构来看,更多的是用于静态的,大量数据可以上传到去中心化存储中,但是不能被修改或删除,只能重新上传新的数据。得益于key-value的存储范式,EthStorage可以支持CRUD, 即创建新的存储数据,更新存储数据,读取存储数据和删除存储数据。这在中心化存储领域是很容易实现的,但是在去中心化存储领域目前只有EthStorage可以做到。 (4)创建以太坊网络访问协议 在Web2的互联网上浏览网页、发送电子邮件、下载文件等一系列行为,都离不开HTTP协议,它是互联网上最为常见的协议之一。HTTP协议定义了客户端和服务器之间如何传输和交换资源,URL是指定这些资源在互联网上的位置的标识。当在Web浏览器中输入一个网址或点击链接时,会触发一个HTTP请求,该请求使用URL来确定要请求的资源。Web浏览器会解析URL,然后使用HTTP协议与服务器通信,请求特定的资源,并在服务器响应后将资源显示给用户。HTTP协议和URL紧密协作,共同构成了在Web上浏览、交互和传输资源的基础。但是,Web2网页或互联网服务的数据是托管在中心化的服务器之中的,当停止为服务器续费,应用所使用的云服务会停止,应用的数据将会被中心化的服务方删除。 EthStorage 创始人周期提出了基于Web3的网络访问协议 — ERC-4804 ,通过EIP最终审核并获批。ERC-4804,全名为 EVM 调用信息解译的 Web3 URL,它是一个 HTTP 风格的 Web3 URL (*web3://) 到 EVM 的信息调用,是以太坊上的第一个网络访问协议。与web2通过访问服务器资源的方式不同,web3:// Access protocol通过Web3 URL直接去渲染在以太坊智能合约上面托管的资源,包括HTML、CSS、PDF等这样的文件。 简单来说,web3://(*http://web3url.io)是去中心化的 http://。它为以太坊添加一个去中心化的表示层,可以让用户直接浏览 EVM 上的网页内容,比如网页、图片、歌曲等,而EVM作为去中心化的后端。 3、现状与计划 (1)产品应用 通过EthStorage,将能以去中心化存储为底层来重新启用互联网应用(*当前很多Dapp依然使用中心化的方式存储数据),比如动态 NFT、链上音乐 NFT、个人网站,无主机钱包、Dapp,Deweb等。 以DeWeb举例: 我们知道以太坊是一个去中心化的网络,在以太坊上面诞生了很多去中心化的dapp,可这些dapp并不是完全去中心化的,很多应用的前端依然是通过中心化的云服务在托管,像Uniswap的前端网页宕机,删除交易对以及Tornado.Cash因为涉嫌洗钱被监管而导致前端服务停用等都是因为其前端是托管在中心化的服务器上面,无法有效抗审查。但是使用EthStorage的方案,网页文件和数据被托管在智能合约中,由去中心化的网络共同运行和维护,使得抗审查性大大提高。通过智能合约的可编程性实现DeWeb,可以实现很多有意思的应用,比如De-github,De-blog,以及各种dapp的前端。 当前EthStorage没有公布代币计划,但是在测试网可以通过测试代币W3Q与进行测试网使用与交互。 (2)路线图 根据EDCON公布的路线图,2023年,EthStorage主要在测试网阶段,并会适配以太坊坎昆升级进行开发与测试。在2024年可能进行主网上线,将会完全集成Danksharding,CL+EL客户端和Web3浏览器访问。 四、其他存储项目速览 (1)Filecoin:Filecoin 是构建于 IPFS 之上的带有激励制度的去中心化存储网络。IPFS 是使用分布式哈希表 (*DHT) ,是一种用于存储、寻址和传输数据的协议(*类比http协议)Filecoin 充当 IPFS 的激励层,同时也充当开放存储市场。Filecoin使用基于合约的模型来确保数据的持久性并结合零知识证明,特别是时空证明和复制证明。 在今年 3月14 日Filecoin 宣布正式启动虚拟机(*FVM)以支持智能合约和用户可编程性。 Filecoin的特点是:具有单独的链与激励体系;静态存储的空间大、费用低;升级后支持FVM虚拟机。 (2)Arweave:Arweave 采用“一次付费,永久存储”的模式,其中一次性付款涵盖了永久存储数据的成本,并且检索该数据无需额外付费。Arweave 使用随机访问的简洁证明,创建区块纺(*Blockweave)的原生数据结构,即每个区块都会链接上一个区块和一个历史Recall Block。对于节点来说,铸造一个新区块的前提条件就是同步一个Recall-Block和最新生成的区块数据。 Arweave的特点是:具有单独的链与激励体系;链上存储、永久存储;与其他链的互操作性较弱。 (3)BNB Greenfield:Greenfield专注于促进去中心化数据管理和访问,旨在通过简化数据存储和管理并将数据所有权与BNB智能链(*BSC)的 DeFi 环境联系起来。完整的BNB Greenfield 系统,可以与成熟的BSC公链与BN社区用户的互通,当用户想要在Greenfield 上创建和使用数据时,可以通过 BNB Greenfield dApps(*去中心化应用程序)与BNB Greenfield 核心基础设施进行交互。 BNB Greenfield的特点是:Binance“三位一体”生态网络的最后拼图,生态内可操作性强,BNB在各链流转使用;采用 Amazon S3“存储桶”的结构概念;链下存储、链上验证。 五、总结 存储是Web3网络的三大支柱之一,去中心化存储能够落地才能真正实现数据确权和主权网络,否则以牺牲中心化效率来发展区块链网络的意义不大。这个赛道属于底层基础,具有潜力且意义巨大。 当前,相对于其他赛道,去中心化存储在市场的热度较低,这主要是发展阶段未到与需求不足导致。当L2的发展使得Dapp的应用便宜而快速,大量数据的沉淀和价值诉求就会将市场热度推向去中心化存储赛道。 EthStorage作为新兴项目拥有以太坊良好的生态基础,具有很强的互操作性,能和其他拥有DA层的L1,L2结合,给出了新的发展方向和解决方案。现今各去中心化存储项目也都有主攻的方向并在持续发展,期待市场的齿轮转向存储赛道的时代。 参考资料 1、EthStorage官方 2、《Towards World Supercomputer》,Xiaohang Yu, Kartin, msfew — Hyper Oracle,Qi Zhou — ETHStorage 3、《EthStorage — 第一个Ethereum存储L2》,0xhhh , 0xCryptolee 4、《Decentralized Storage:A Pillar of Web3》,Fundamental Labs 5、《模块化区块链:以太坊成为「世界计算机」的工程化方案》,IOBC Capital 6、《EthStorage:扩容以太坊生态的存储性能》,Mint Ventures 来源:金色财经lg...