全球最大AI超算内部首次曝光!马斯克19天组装10万块H100,未来规模还将扩大一倍

 

 

两个月前,马斯克才刚刚自曝了xAI的Colossus超算,称其是世界上最强大的AI训练系统。

最近,马斯克又宣布了一条振奋人心的消息——集群即将扩展到20万张H100/H200显卡!

 

同时,ServeTheHome也发布了一条15分钟的视频,公布了这台超算的详情!

 

这台全球最大的AI超级计算机Colossus位于美国田纳西州孟菲斯,配备了10万个英伟达Hopper GPU,并由英伟达Spectrum-X以太网提供网络传输支持。

目前,Colossus的第一阶段建设已完成,集群全面上线,但这并不是终点。它将很快迎来升级,GPU容量将翻倍,新增5万块H100 GPU和5万块下一代H200 GPU。

Colossus正在用于训练xAI的Grok,并为X Premium订阅用户提供聊天机器人功能。

在训练超大规模的Grok时,Colossus展现了前所未有的网络性能。在网络结构的所有层级中,系统在流量冲突的情况下没有经历任何应用延迟降级或数据包丢失。

通过Spectrum-X拥塞控制,它保持了95%的数据吞吐量。这种性能水平无法通过标准以太网实现,标准以太网在传输中会产生数千次流量冲突,数据吞吐量仅能达到60%。

由于保密协议的限制,这台超级计算机的一些细节并没有透露。不过,像Supermicro GPU服务器等关键部件的介绍在视频中都有所涉及。

液冷机架

Colossus集群的基本构建单元是Supermicro液冷机架。

每个机架包含八台4U服务器,每台服务器配备八个英伟达H100,共计64个GPU。

八台此类GPU服务器再加上一个Supermicro冷却分配单元(CDU)及相关硬件,构成了一个GPU计算机架。

这些机架以八台为一组排列,共512个GPU,并通过网络连接,形成更大系统中的小型集群。

xAI使用的是Supermicro 4U通用GPU系统。

这是目前市面上最先进的AI服务器,有2个原因:其一是它的液冷程度;其二是设备的可维护性。

该系统被放置在托盘上,无需将系统从机架中移出即可维护。1U机架分流器可为每个系统引入冷却液并排出温热液体。快速断开装置让液冷系统可以迅速移除,甚至可以人工单手拆装;移除后,托盘即可拉出以便维护。

下图是一张该服务器原型的照片,展示了这些系统的内部构造。

SC23展示的Supermicro 4U通用GPU系统:支持液冷英伟达HGX H100和HGX 200

上图SC23原型中的两个x86 CPU液冷模块相对常见。

特别之处在于右侧:Supermicro的主板集成了几乎所有HGX AI服务器中使用的四个Broadcom PCIe交换机,而非将其单独安装在另一块板上。Supermicro为这四个PCIe交换机设计了定制液冷模块。

其他AI服务器通常是在风冷设计的基础上加装液冷,而Supermicro的设计则完全从零开始,为液冷而打造,且所有组件均来自同一供应商。

打个通俗的比方,这类似于汽车——有些车型先设计为燃油车,之后再安装电动动力系统,而有些车型从一开始就是为电动车设计的。这款Supermicro系统就属于后者,而其他HGX H100系统则属于前者。

Patrick怒赞道:测评了各种各样的液冷系统设计,这款Supermicro系统遥遥领先于其他系统!

网络系统

这里的每条光纤连接速率为400GbE,是常见1GbE网络速率的400倍。此外,每个系统拥有9条这样的连接,意味着每台GPU计算服务器的带宽达到约3.6Tbps。

打个比方,如果1GbE的普通家庭网络好比是一条单车道公路,那这个400GbE就像是一条拥有400车道的高速公路。而每个系统有9条这样的「高速公路」,相当于每台GPU计算服务器拥有9条这样的超宽带公路,总带宽达到3.6Tbps。

这个带宽甚至超过了2021年初顶级Intel Xeon服务器处理器在所有PCIe通道上所能处理的连接总量。

GPU的RDMA网络构成了该带宽的大部分。每个GPU都有自己的NIC。

在这里,xAI使用英伟达BlueField-3 SuperNIC和Spectrum-X网络。英伟达的网络堆栈中加入了一些独特技术,可以帮助数据绕过集群中的瓶颈,确保数据准确地传输到指定位置。

这是一个重大突破!许多超级计算机网络使用的是InfiniBand或其他技术,而这里采用的是以太网。

以太网是互联网的骨干,因此它具有极强的扩展性。这些庞大的AI集群已扩展到一些更小众技术未能触及的规模。对于xAI团队而言,这确实是一个大胆的举措。

除了GPU的RDMA网络外,CPU也配备了400GbE连接,但使用完全不同的交换结构。xAI为其GPU和集群的其余部分分别配置了独立的网络,这在高性能计算集群中是非常常见的设计。

除了高速集群网络外,还有低速网络用于管理接口和环境设备,这些都是此类集群的重要组成部分。

参考资料:
https://www.servethehome.com/inside-100000-nvidia-gpu-xai-colossus-cluster-supermicro-helped-build-for-elon-musk/3/

 

 

创建时间:2024-11-01 09:06
  • 8 卡 5090 服务器、5090 推理机、5090 一体机热度飙升,P2P 破解如何解锁多卡算力 —— 七号智算深度解读

    近期消费级高端 AI 显卡市场热度居高不下,海外硬件媒体 3DCenter 发布监测数据,RTX 5090 终端零售价一年内涨幅达到 132%,大量 AI 团队批量采购 5090 显卡用于本地推理、小规模模型测试,市场机构 SMM 分析指出,5090 芯片供给紧张的局面短期内难以缓解,涨价趋势同步传导至服务器整机、一体机产品线。很多中小型 AI 团队、工作室无力采购 H 系列、B 系列高端专业 GPU,转而选择基于 RTX5090 搭建本地化算力方案,8 卡 5090 服务器、5090 推理机、5090 一体机成为轻量化本地算力的热门选择,与此同时,限制多卡通信的 P2P 破解话题,在技术社群持续发酵。七号智算结合大量落地调试经验,从硬件形态、技术限制、风险边界,对这套 5090 算力方案做完整解读。

    넶0 2026-10-20
  • 算力租赁全线涨价:H200 租赁、B200 租赁、B300 租赁一卡难求,七号智算现货破局

    近期算力板块行情持续发酵,算力芯片相关标的迎来大幅拉升,海外云厂商 Nebius 年内第二次上调高端 GPU 算力报价,H200、B200、B300 等旗舰芯片资源供给紧张的问题再次摆在行业面前。从报价信息来看,H200 算力单价上调至 5.4 美元每小时,B300 算力单价达到 9.5 美元每小时,自年初至今 B300 租赁价格累计涨幅接近 56%。与此同时国内信通院发布算力产业季度数据,国内大模型算力需求增速高达 417%,但算力供给增速仅 128%,供需缺口持续拉大,国内算力租赁市场规模已经突破 680 亿元,全网日均 Token 调用量突破 140 万亿,不少行业消息显示高端 AI 显卡现货稀缺,单卡价格被炒至高位,很多企业算力订单已经排期至次年。在高端算力资源紧缺、交付周期不确定的行业大背景下,H200 租赁、B200 租赁、B300 租赁成为大模型训练、长文本推理、多模态项目企业重点关注的算力方案,七号智算依托自身集群储备与供应链能力,为市场提供稳定可落地的算力租赁服务。

    넶0 2026-10-20
  • 8 卡 5090 服务器、5090 推理机、5090 一体机与 P2P 破解,七号智算如何把 5090 榨出专业卡性能

    近期消费级高端 GPU 市场热度居高不下,RTX 5090 在过去 12 个月价格涨幅达到 132%,德国地区零售价格已经来到 6000 至 6800 欧元区间。大量 AI 厂商整托批量采购 RTX5090 硬件,流入服务器整机市场,8 卡整机价格持续走高,市场还传出英伟达收紧 GB202 芯片供货、限制芯片外流的消息。消费级显卡原本定位游戏创作,如今大量进入 AI 推理场景,8 卡 5090 服务器、5090 推理机、5090 一体机成为中小 AI 团队低成本推理部署的热门方案,七号智算深度打磨 5090 整机方案,通过 P2P 破解优化多卡通信能力,释放消费级显卡的 AI 算力潜能。

    넶2 2026-10-19
  • 算力租赁进入涨价周期,H200 租赁、B200 租赁、B300 租赁怎么选?七号智算给出答案

    近期海外头部云厂商接连上调高端 GPU 算力租赁定价,Nebius 在 10 月 1 日新一轮调价中,H100、H200、B200、B300 按需租赁价格上调 17% 至 21%,其中 B300 年内租金累计涨幅接近 56%,CoreWeave 等算力服务商同步上调约 25% 的算力资费。放眼国内市场,2026 年 Q1 国内算力租赁市场规模达到 680 亿元,行业机构预测全年市场规模有望突破 2600 亿元。大模型训练、多模态生成、AI 智能体落地带来持续爆发的算力需求,算力需求增长速度远超硬件供给扩容速度,高端 GPU 资源紧俏,H200 租赁、B200 租赁、B300 租赁成为 AI 企业关注的核心赛道,七号智算依托自有算力资源池,针对不同业务场景提供差异化算力租赁方案。

    넶3 2026-10-19

推荐文章