age 2/16) ZKML的版图 由SevenX Ventures整理的ZKML版图来看。 硬件加速:多家机构正积极研发ZKP的硬件加速,这也利于ZKML的发展。一般通过FPGA、GPU以及ASIC芯片来加速ZKP的生成。比如:Accseal正在为研发ZKP硬件加速的ASIC芯片、Ingonyama在建立一个ZK加速库ICIClE,是为支持CUDA的GPU设计的。Supranational专注于GPU加速,Cysic和Ulvetanna专注于FPGA加速。 输入:要使用链上数据输入,Axiom, Herodotus, Hyper Oracle, Lagrange将改善用户对区块链数据的访问并提供更复杂的链上数据视图。然后可以从导入的历史数据中提取 ML 输入数据 推理:ModulusLabs 正在开发专门用于 ZKML 的新 zkSNARK 系统。这部分可以和ZKML工具集部分合并,主要是在做模型的ZK化,以及ZK化过程中需要的工具集。Giza 是一个基于StarkNet 的机器学习平台,专注于完全链上模型部署扩展。 计算:专注于构建去中心化计算网络,用于训练每个人都可以访问的 AI 模型。它们允许人们以更低的成本使用边缘计算资源来训练 AI 模型。 去中心化训练/算力:专注于构建去中心化计算网络,用于训练每个人都可以访问的 AI 模型。它们允许人们以更低的成本使用边缘计算资源来训练 AI 模型。 ZKML工具集:参见第五章技术发展历史。图中的ZAMA主要用全同态加密(FHE)做机器学习的隐私保护,FHEML与ZKML相比,只做隐私不做无信任验证。 用例:Worldcoin, 用ZKML来做数字身份的身份认证。用户设备中加密保管自己的签名的生物特征,ZK化虹膜识别的机器学习模型,在做身份识别的时候运行模型,验证生物特征是否匹配。用ZKP证明运行过程的正确性。Modulars Labs做链上AI交易机器人。Cathie的EIP7007,zkML AIGC-NFT标准。链上人工智能象棋棋手、神经网络驱动的NFT角色等。 ZKML的技术发展历史 将神经网络转成ZK电路的主要挑战在于: 电路需要定点数的运算,但神经网络中大量使用到了浮点数。 模型大小的问题,大模型的转化难度大且电路大。 ZKML库的发展历程如下: 2021年,zk-ml/linear-regression-demo,Peiyuan Liao 实现了线性回归电路,线性回归是一种非常基础的预测算法,它假设输出变量与输入变量之间的线性关系,适合预测数值型变量和研究两个或多个变量之间的关系的场景。比如:根据房屋面积和其他特征来预测房屋价格,或根据历史销售数据来预测未来销售量等等。 2022年, 0xZKML/zk-mnist, 0xZKML 基于MNIST数据集做了一个神经网络的ZK电路,可以识别手写的数字。比如:手写一个数字2,手写体被识别成了2,并生成了推理过程证明。该证明可以上链,并可以用ethers + snarkjs可以验证链上证明。 实际上,zk-mnist库目前只是把最后一层转成了电路,没有把完整的神经网络转成电路。 2022年,socathie/zkML,Cathie 相比zk-mnist,ZKML将完整的神经网络转成了电路。Cathie的zkMachineLearning提供了多个ZKML的工具包cirocmlib-ml、keras2circom帮助ML的工程师将模型转成电路。 2022年11月, zk-ml/uchikoma,Peiyuan Liao 将神经网络中的浮点运算转移成定点运算。创建并开源了一个通用工具和框架,可将几乎所有机器学习算法转换为易于与区块链集成的零知识证明电路。 视觉模型-> AIGC 语言模型-> 聊天机器人,写作助手 线性模型和决策树 -> 欺诈检测,女巫攻击预防 多模态模型 -> 推荐系统 训练了一个区块链友好的内容生成机器学习模型(AIGC),并转成了ZK电路。使用它可以生成艺术品,并生成简洁的ZK证明,最后将艺术品Mint成NFT。 2022年7月,2023年3月更新,zkonduit/ezkl ezkl是一个库和命令行工具,用于在 zk-snark (ZKML) 中对深度学习模型和其他计算图进行推理。用Halo2作为证明系统。 可以定义计算图,如神经网络,然后用ezkl生成ZK-SNARK电路。针对推理生成的ZKP可以用智能合约验证。 说是能支持100M参数的模型,但可能很耗资源。 2023年5月,Ddkang/zkml (Link) zkml声称可以用ZK化GPT2,Bert and Diffusion模型。但可能要用的很大的内存,是否能将证明存入智能合约还不清楚。 zkml 可以验证模型的执行在 ImageNet 上达到92.4% 的准确率,还可以在四秒内以 99% 的准确率证明一个 MNIST 模型。 2023年5月, zkp-gravity/0g 轻量化神经网络,支持私有数据+公共模型。 总的来说,我们能看到ZKML技术目前的探索方向: Network Quantization(网络量化),将神经网络中的浮点数转为定点数,并轻量化神经网络(ZK友好)。 尝试将大规模参数的神经网络转成ZK电路,并提高证明效率(扩大ZK能力)。 总结 ZKML是AI和区块链的桥梁,它的意义在于能让区块链能感知物理世界、让智能合约能做决策、保护隐私地运行AI模型,是一个很有前景的技术。 ZKML的历史很短,发展很快。目前已经能将一些简单的神经网络模型转化成ZK电路,可以做模型的上链或推理证明上链了。语言模型相对困难,目前Ddkang/zkml声称可以生成ZK版的GPT2,Bert and Diffusion模型。相信随着网络量技术、ZK技术、区块链扩容技术的发展,语言模型的ZKML也快会变得可用。 免责声明:本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况,及遵守所在国家和地区的相关法律法规。 来源:金色财经lg...