IOSG Weekly Brief|人工智能训练与推理技术栈:从硅到智能 #237
人工智能的迅猛发展基于复杂的基础设施。AI技术栈是一个由硬件和软件构成的分层架构,它是当前AI革命的支柱。在这里,我们将深入分析技术栈的主要层次,并阐述每个层次对AI开发和实施的贡献。最后,我们将反思掌握这些基础知识的重要性,特别是在评估加密货币与AI交叉领域的机会时,比如DePIN(去中心化物理基础设施)项目,例如GPU网络。
1.硬件层:硅基础
在最底层是硬件,它为人工智能提供物理计算能力。
CPU(中央处理器):是计算的基础处理器。它们擅长处理顺序任务,对于通用计算非常重要,包括数据预处理、小规模人工智能任务以及协调其他组件。
GPU(图形处理器):最初设计用于图形渲染,但因其能够同时执行大量简单计算而成为人工智能的重要组成部分。这种并行处理能力使GPU非常适合训练深度学习模型,没有GPU的发展,现代的GPT模型就无法实现。
AI加速器:专门为人工智能工作负载设计的芯片,它们针对常见的人工智能操作进行了优化,为训练和推理任务提供了高性能和高能效。
FPGA(可编程阵列逻辑):以其可重编程的特性提供灵活性。它们可以针对特定的人工智能任务进行优化,特别是在需要低延迟的推理场景中。
2. 底层软件:中间件
AI技术栈中的这一层至关重要,因为它构建了高级AI框架与底层硬件之间的桥梁。CUDA、ROCm、OneAPI和SNPE等技术加强了高级框架与特定硬件架构之间的联系,实现了性能的优化。
作为NVIDIA的专有软件层,CUDA是该公司在AI硬件市场崛起的基石。NVIDIA的领导地位不仅源于其硬件优势,更体现了其软件和生态系统集成的强大网络效应。
CUDA之所以具有如此大的影响力,是因为它深度融入了AI技术栈,并提供了一整套已成为该领域事实上标准的优化库。这个软件生态构建了一个强大的网络效应:精通CUDA的AI研究人员和开发者在训练过程中将其使用传播到学术界和产业界。
由此产生的良性循环强化了NVIDIA的市场领导地位,因为基于CUDA的工具和库生态系统对AI从业者来说变得越来越不可或缺。
这种软硬件的共生不仅巩固了NVIDIA在AI计算前沿的地位,还赋予了公司显著的定价能力,这在通常商品化的硬件市场中是罕见的。
CUDA的主导地位和其竞争对手的相对默默无闻可以归因于一系列因素,这些因素创造了显著的进入壁垒。NVIDIA在GPU加速计算领域的先发优势使CUDA能够在竞争对手站稳脚跟之前建立起强大的生态系统。尽管AMD和Intel等竞争对手拥有出色的硬件,但他们的软件层缺乏必要的库和工具,并且无法与现有技术栈无缝集成,这就是NVIDIA/CUDA与其他竞争对手之间存在巨大差距的原因。
3. 编译器:翻译者
TVM(张量虚拟机)、MLIR(多层中间表示)和PlaidML为跨多种硬件架构优化AI工作负载的挑战提供了不同的解决方案。
TVM源于华盛顿大学的研究,因其能够为各种设备(从高性能GPU到资源受限的边缘设备)优化深度学习模型而迅速获得关注。其优势在于端到端的优化流程,在推理场景中尤为有效。它完全抽象化了底层供应商和硬件的差异,使得推理工作负载能够在不同硬件上无缝运行,无论是NVIDIA设备还是到AMD、Intel等。
然而,在推理之外,情况变得更加复杂。AI训练的硬件可替代计算这一终极目标仍未解决。不过,在这方面有几个值得一提的倡议。
MLIR,Google的项目,采用了更基础的方法。通过为多个抽象级别提供统一的中间表示,它旨在简化整个编译器基础设施,以针对推理和训练用例。
PlaidML,现在由Intel领导,将自己定位为这场竞赛中的黑马。它专注于跨多种硬件架构(包括传统AI加速器之外的架构)的可移植性,展望了AI工作负载在各类计算平台上无缝运行的未来。
如果这些编译器中的任何一个能够很好地集成到技术栈中,不影响模型性能,也不需要开发人员进行任何额外修改,这极可能威胁到CUDA的护城河。然而,目前MLIR和PlaidML还不够成熟,也没有很好地集成到人工智能技术栈中,因此它们目前并不会对CUDA的领导地位有明显威胁。
4. 分布式计算:协调者
Ray和Horovod代表了AI领域分布式计算的两种不同方法,每种方法都解决了大规模AI应用中可扩展处理的关键需求。
由UC Berkeley的RISELab开发的Ray是一个通用分布式计算框架。它在灵活性方面表现出色,允许分配机器学习之外的各种类型的工作负载。Ray中基于actor的模型极大简化了Python代码的并行化过程,使其特别适用于强化学习和其他其他需要复杂及多样化工作流程的人工智能任务。
Horovod,最初由Uber设计,专注于深度学习的分布式实现。它为在多个GPU和服务器节点上扩展深度学习训练过程提供了一种简洁而高效的解决方案。Horovod的亮点在于它的用户友好性和对神经网络数据并行训练的优化,这使得它能够与TensorFlow、PyTorch等主流深度学习框架完美融合,让开发人员能够轻松地扩展他们的现有训练代码,而无需进行大量的代码修改。
5. 结束语:从加密货币角度
与现有AI栈的集成对于旨在构建分布式计算系统的DePin项目至关重要。这种集成确保了与当前AI工作流程和工具的兼容性,降低了采用的门槛。
在加密货币领域,目前的GPU网络,本质上是一个去中心化的GPU租赁平台,这标志着向更复杂的分布式AI基础设施迈出的初步步伐。这些平台更像是Airbnb式的市场,而不是作为分布式云来运作。尽管它们对某些应用有用,但这些平台还不足以支持真正的分布式训练,而这是推进大规模AI开发的关键需求。
像Ray和Horovod这样的当前分布式计算标准,并非为全球分布式网络设计,对于真正工作的去中心化网络,我们需要在这一层上开发另一个框架。一些怀疑论者甚至认为,由于Transformer模型在学习过程中需要密集的通信和全局函数的优化,它们与分布式训练方法不兼容。另一方面,乐观主义者正在尝试提出新的分布式计算框架,这些框架可以很好地与全球分布的硬件配合。Yotta就是试图解决这个问题的初创公司之一。
NeuroMesh更进一步。它以一种特别创新的方式重新设计了机器学习过程。通过使用预测编码网络(PCN)去寻找局部误差最小化的收敛,而不是直接去寻找全局损失函数的最优解,NeuroMesh解决了分布式AI训练的一个根本瓶颈。
这种方法不仅实现了前所未有的并行化,还使在消费级GPU硬件(如RTX 4090)上进行模型训练成为可能,从而使AI训练民主化。具体来说,4090 GPU的计算能力与H100相似,但由于带宽不足,在模型训练过程中它们未被充分利用。由于PCN降低了带宽的重要性,使得利用这些低端GPU成为可能,这可能会带来显著的成本节省和效率提升。
GenSyn,另一家雄心勃勃的加密AI初创公司,以构建一套编译器为目标。Gensyn的编译器允许任何类型的计算硬件无缝用于AI工作负载。打个比方,就像TVM对推理的作用一样,GenSyn正试图为模型训练构建类似的工具。
如果成功,它可以显著扩展去中心化AI计算网络的能力,通过高效利用各种硬件来处理更复杂和多样的AI任务。这个雄心勃勃的愿景,虽然由于跨多样化硬件架构优化的复杂性和高技术风险而具有挑战性,但如果他们能够执行这一愿景,克服诸如保持异构系统性能等障碍,这项技术可能会削弱CUDA和NVIDIA的护城河。
关于推理:Hyperbolic的方法,将可验证推理与异构计算资源的去中心化网络相结合,体现了相对务实的策略。通过利用TVM等编译器标准,Hyperbolic可以利用广泛的硬件配置,同时保持性能和可靠性。它可以聚合来自多个供应商的芯片(从NVIDIA到AMD、Intel等),包括消费级硬件和高性能硬件。
这些在加密AI交叉领域的发展预示着一个未来,AI计算可能变得更加分布式、高效和可访问。这些项目的成功不仅取决于它们的技术优势,还取决于它们与现有AI工作流程无缝集成的能力,以及解决AI从业者和企业实际关切的能力。
比推快讯
更多 >>- The ETF Store 总裁:现货政府很难再批准任何其他加密货币现货ETF
- Coinbase旗下Stand With Crypto成立600 万美元的NFT法律辩护基金,a16z支持
- BTC突破60000美元
- 数据:Aptos 单月活跃地址数量和用户交易量均创下历史新高
- 以太坊基金会研究员Danny Ryan在为基金会做出贡献七年后宣布退出
- 美股收盘:标普500指数、纳指创去年11月以来最大单周涨幅
- 加密交易平台Bit2Me获得阿根廷虚拟资产服务提供商许可
- Galaxy Research:美 SEC 似乎将放宽 SAB-121 条款,为银行的数字资产托管服务提供豁免标准
- FTX 创始人SBF 正式对其欺诈罪名提出上诉,要求进行重新审判
- 彭博社:自 2022 年以来美 SEC 主席曾多次遭遇“死亡威胁”
- 加密友好议员Ritchie Torres呼吁 CFTC 接受 Kalshi 裁决并关注不受监管的选举市场
- 摩根大通:仍预计美联储本月降息50个基点
- Polymarket 平台关于“美国 2024 年总统大选获胜者”的累计押注已达近 10 亿美元
- Nillion 与 NEAR 协议集成,为开发人员增强隐私工具
- Seamless Protocol:资金安全,协议未受影响
- 拉丁美洲加密货币交易所 Ripio 与 Visa 合作推出 DeFi 信用卡
- 数据:加密行业在 2024 年美国选举周期中已捐赠超 1.9 亿美元的政治捐款
- 美股延续涨势,道指涨幅扩大至1%
- 以太坊站上2400美元,日内涨1.62%
- 比特币站上59000美元,日内涨1.49%
- 美SEC :当提及“加密资产证券”时,并不意味着代币一定是证券
- 社交媒体平台“X”有望避免被纳入欧盟数字市场法案的“行为准则”清单
- SEC更新对币安的诉讼文件,将AXS、FIL、ATOM列为证券
- 裕信银行:如果美联储选择降息25个基点,美元可能小幅受益
- 今日美国现货比特币ETF净流入704枚BTC,现货以太坊ETF净流出708枚ETH
- 知情人士:Tiger Global Management计划参与OpenAI新一轮融资
- 分析师:美联储下周降息幅度又回到了50-50的概率
- 灰度向Coinbase Prime地址转移8532枚ETH
- 币安:加密用户需防范 Clipper 恶意软件,警惕钱包地址被攻击者替换
- 美国9月一年期通胀率预期初值 2.7%,预期2.70%,前值2.80%。
- 美国9月密歇根大学消费者信心指数初值 69,预期68.5,前值67.9。
- 美联储传声筒:鲍威尔面临首次降息幅度为25基点还是50基点的艰难选择
- 灰度向 Coinbase Prime 地址转移约 196 枚 BTC
- CertiK:九月初以来发生 33 起安全事件,共造成约 5500 万美元损失
- Vitalik:与 AI 和加密应用相比,元宇宙的潜在应用领域尚未被发现
- Wormhole 将 World ID 集成到 Solana
- Ronin 推出通用账户和无密钥钱包 Ronin Waypoint
- 美国国债收益率下跌,押注美联储降息50个基点再度抬头
- 德国中央合作银行:美国经济数据不支持美联储大幅降息
- Tether 任命前 PayPal 高管 Jesse Spiro 担任政府事务主管
- MicroStrategy 以约11.1亿美元现金买入 18,300 枚比特币
- 黑山最高法院预计将于本月对Do Kwon作出判决
- 分析:美联储9月降息25个基点或已被市场消化,降息50个基点或成市场推力
- 英国高等法院裁定稳定币 USDT 可视为财产
- 纽约联储银行行长:以 25 个基点幅度开始降息没有意义
- 币安完成 Polygon(MATIC)代币升级为 Polygon(POL)
- 北京警方打掉一个以投资虚拟藏品为名的传销团伙,涉案金额 280 余万美元
- Vitalik 将于 9 月 18 日在 TOKEN2049 OKX 会场发表主旨演讲
- 特朗普推广加密项目 World Liberty Financial 团队成员曾销售减肥药和致富课程
- ARK Invest 报告:截至 8 月底,美国现货比特币 ETF 投资者成本已高于比特币价格
比推专栏
更多 >>观点
项目
比推热门文章
- The ETF Store 总裁:现货政府很难再批准任何其他加密货币现货ETF
- Fractal Bitcoin引爆市场:你还不知道它吗?
- Pump.fun 早期投资者 qw:消费者应用赛道创业,多少得有点自闭症
- BTC重回6万刀,钟慢效应显现
- 一文速览 EGP 代币经济学
- 如何看待 Merlin Chain 和 BitcoinOS 的安全跨链合作?
- Hamster Kombat代币经济学一览:75%用于空投、3%用于Binance Launchpool
- 观点:摧毁「四年周期」论,加密货币才能真正跨越鸿沟
- 掘金 Solana 生态,Breakpoint 上不容错过的 15 大潜在利好
- SEC为何放松对SAB 121的限制?