AI的奥本海默时刻,io.net如何革新去中心化人工智能计算市场

火星马克 2024-06-18 10:24:41

原文标题:AI’s Oppenheimer Moment IO.NET How to Revolutionize the Decentralized AI Computing Market

原文来源:followin

原文作者:Raghav Agarwal、Roy Lu,LongHash Ventures

编译:Elvin,ChainCatcher

AI

人类正处于一个AI奥本海默时刻。

埃隆·马斯克指出:“随着我们技术的进步,确保 AI 服务于人民的利益,而不仅仅是权力者的利益,这是至关重要的。人民拥有的AI提供了一条前进的道路。”

在与加密货币的交汇处,AI可以实现自身的民主化。从开源模型开始,然后是人民的AI,由人民,为人民服务。虽然Web3 x AI的目标是高尚的,但其实际采用取决于其可用性和与现有AI软件栈的兼容性。这就是IO.NET独特方法和技术栈发挥作用的地方。

IO.NET的去中心化Ray框架是向web3及更广范围推出无需许可的AI计算市场的特洛伊木马。

IO.NET在带来GPU丰富性方面处于领先地位。与其他通用计算聚合器不同,IO.NET通过重写Ray框架,将去中心化计算与行业领先的AI栈桥接起来。这种方法为在web3内外的更广泛采用铺平了道路。

AI民族主义背景下的计算能力竞赛

在人工智能栈中,对资源的竞争愈演愈烈。过去几年,人工智能模型大量涌现。在Llama 3发布后的几小时内,Mistral和OpenAI发布了他们前沿人工智能模型的新版本。

人工智能栈中正在进行资源竞争的三个层次是:1) 训练数据,2) 先进算法,3) 计算单元。算力允许人工智能模型通过扩展训练数据和模型大小来提高性能。根据OpenAI对基于变换器的语言模型的经验性研究,随着我们增加用于训练的计算量,性能会平稳提高。

在过去20年中,计算使用量激增。Epoch.ai对140个模型的分析显示,自2010年以来,具有里程碑意义的系统的培训计算每年增加了4.2倍。最新的OpenAI模型,GPT-4,需要的计算量是GPT-3的66倍,大约是GPT的120万倍。

AI民族主义明显

美国、中国和其他国家的巨额投资,总计约400亿美元。大部分资金将专注于生产GPU和人工智能芯片工厂。OpenAI的CEO Sam Altman计划筹集高达7万亿美元的资金,以增强全球人工智能芯片制造,强调“计算将成为未来的货币”。

聚合长尾计算资源可能会显著扰乱市场。中心化云服务提供商如AWS、Azure和GCP面临的挑战包括长时间的等待、有限的GPU灵活性和繁琐的长期合同,特别是对于较小的实体和初创公司而言困难更大。

数据中心、加密货币矿工和消费级GPU的未充分利用的硬件可以满足需求。2022年DeepMind的一项研究发现,在更多数据上训练较小的模型通常比使用最新、最强大的GPU更有效,这表明朝着使用可访问的GPU进行更有效的人工智能训练的转变。

IO.NET 结构性地颠覆了人工智能计算市场

IO.NET结构性地颠覆了全球人工智能计算市场。IO.NET的全球分布式人工智能训练、推理和微调的端到端平台,聚合了长尾GPU,以解锁廉价的高性能训练。

GPU市场:

IO.NET从全球的数据中心、矿工和消费者那里聚合GPU。人工智能初创公司可以在几分钟内部署去中心化的GPU集群,只需指定集群位置、硬件类型、机器学习栈(Tensorflow、PyTorch、Kubernetes),并立即在Solana上支付。

集群:

没有适配的并行基础设施的GPU就好比没有电源线的反应堆,虽然存在但无法使用。正如OpenAI博客所强调的,硬件和算法并行性的限制显著影响了每个模型的计算效率,限制了模型的大小和训练期间的有用性。

IO.NET 利用 Ray 框架将数千个 GPU 集群转换为一个统一整体。这一创新使 IO.NET 能够组建 GPU 集群,而不受地理位置分散的影响,进而解决了计算市场上的一大难题。

Ray 框架脱颖而出

作为一个开源的统一计算框架,Ray简化了人工智能和Python工作负载的扩展。Ray被Uber、Spotify、LinkedIn和Netflix等行业领导者所采用,促进了人工智能集成到他们的产品和服务中。微软为客户提供在Azure上部署Ray的机会,而Google Kubernetes Engine (GKE) 通过支持Kubeflow和Ray,简化了开源机器学习软件的部署。

Ahmad在2023年Ray峰会上展示他关于去中心化Ray框架的工作

去中心化Ray - 扩展Ray以进行全球推理(视频链接:https://youtu.be/ie-EAlGfTHA?)

我们最初是在Tory担任金融科技高增长初创公司的COO时遇见他的,我们知道他是一个具有数十年经验的高级运营者,能够将初创公司扩展到卓有成效的程度。与Ahmad和Tory交谈后,我们立即意识到这是将去中心化人工智能计算带到web3及更广范围的梦想团队。

Ahmad的创意结晶,IO.NET,是在实际应用中的一个顿悟时刻诞生的。开发Dark Tick,一种用于超低延迟高频交易的算法,需要大量的GPU资源。为了应对成本问题,Ahmad开发了一个去中心化的Ray框架版本,从加密货币矿工那里集群GPU,无意中打造了一个解决更广泛人工智能计算挑战的弹性基础设施。

发展势头:

通过利用代币激励,截至2024年中期,IO.NET已经上线了超过10万个GPU和2万个集群就绪的GPU,包括大量的NVIDIA H100和A100。Krea.ai已经在利用io.net的去中心化云服务,IO Cloud,来驱动他们的人工智能模型推理。IO.NET最近宣布与NavyAI、Synesis One、RapidNode、Ultiverse、Aethir、Flock.io、LeonardoAI、Synthetic AI等多个项目合作。

通过依赖全球分布式的GPU网络,IO.NET可以:

与中心化云服务提供商相比,通过允许推理更接近其终端用户,从而降低客户的推理时间通过高度集成的网络骨干连接多个数据中心,将资源组织成区域,从而提高弹性降低计算资源的成本和访问时间允许公司动态扩展和缩小杠杆资源的规模使GPU提供者能够从他们的硬件投资中获得更好的收益

IO.NET通过去中心化Ray框架站在了创新的前沿。利用Ray Core和Ray Serve,他们的分布式GPU集群在去中心化GPU上高效地编排任务。

结论

推动开源人工智能模型是对原始互联网协作精神的认可,人们可以无需许可地接入HTTP和SMTP。

众包GPU网络的出现是无需许可精神的自然演变。通过众包长尾GPU,IO.NET正在打开通往宝贵计算资源的闸门,创造一个公平透明的市场,防止权力集中在少数人手中。

我们相信 IO.NET 通过去中心化的 Ray 集群技术实现人工智能计算即货币的愿景。在这个日益由 "富人 "和 "穷人 "组成的世界里,IO.NET 最终将 "让互联网再次开放"。

0 阅读:0

火星马克

简介:感谢大家的关注