8 卡 5090 服务器、5090 推理机、5090 一体机与 P2P 破解：七号智算拆解多卡协同的真实收益

11 月，arXiv 上的一篇论文在算力圈传开：清华与鹏城实验室的 Puro-2B，用 96 张 RTX 5090 从零训练出一个 2B 参数模型，总成本 4400 美元，混合精度 MFU 做到 73%，单位算力成本效率约为 H200 的 2.7 倍。这是第一次有人把消费级显卡当成正经训练硬件彻底摊开算账。

论文里有一段被反复引用：他们用魔改版的开源驱动打开 PCIe P2P，单向带宽从 31.5GB/s 提到 56GB/s，双向从 32GB/s 提到 111GB/s，通信延迟从 14.3 微秒降到 0.4 微秒，8 卡 AllReduce 带宽从 14.75GB/s 提到 27.34GB/s。P2P 破解，从论坛里的偏方，变成了有实测数据支撑的工程选项。

一、先分清三种形态，别买错

8 卡 5090 服务器是机架式高密度机型，4U 到 7U 机箱、双路服务器 CPU、256GB 以上内存、企业级 NVMe 阵列，8 张卡走 PCIe 5.0，配液冷或高压风冷，7×24 小时满负荷运行。它承担的是 70B 到 130B 模型的离线微调、高并发私有化推理、批量 8K 视频渲染。

5090 推理机是 2 到 4 卡的轻量化机型，精简掉冗余硬件，降低功耗也降低租金，预装推理镜像，配 vLLM 或 TensorRT-LLM，开 Paged Attention 和动态批处理，几百路并发能把延迟降下来。做 AI 客服、数字人、文生图 API 的团队，用它快速起量最合适。

5090 一体机是单卡或双卡的桌面整机，开箱即用，不用进机房。它解决的是 “数据不能出本地” 的问题：模型调试、轻量化微调、算法验证、个人 AIGC，全部留在本地。算力上限不高，大规模的卡间并行希望不大。

二、P2P 到底卡在哪

P2P 是 GPU 之间不经 CPU 内存、直接通过 PCIe 读写对方显存，省掉两次主机内存拷贝，延迟和带宽都是数量级的差别。英伟达在驱动层关掉了 GeForce 系列的 GPU 间 P2P，官方论坛的答复很干脆：RTX 50 系属于 GeForce，不支持 GPU-GPU P2P，只有专业工作站卡和数据中心卡开放。

后果很直接。多卡通信全部经由主机内存中转，单向带宽被砍到 PCIe 链路的一半，延迟 14 微秒起步。8 卡 5090 服务器在这种状态下跑 70B 微调，多卡并行效率降到七成左右；推理机做高并发分流，延迟能翻三倍。卡买回来了，一半的成本耗在等待数据上。

三、打开之后，收益在哪

上面那组是学术口径，工程口径还要看拓扑。七号智算在自研定制机型上实测，8 卡 5090 的 NCCL AllReduce 带宽做到 49GB/s 以上，同代同规格的通用机型普遍在 25 到 39GB/s；8 卡 4090 做到 25GB/s 以上，常见机型只有 7 到 18GB/s；8 卡 4090D 做到 26GB/s 以上。差距不来自显卡，来自 PCIe 通道分配、Switch 布局和驱动参数。

换算到业务：4 卡推理机打开 P2P 后，并发 QPS 大约提升四成，接口响应延迟接近减半；8 卡服务器在多卡并行场景下，算力利用率从七成推到九成以上，70B 级模型微调周期缩短两成左右。对按小时付费的团队，这就是实打实的成本差。

四、代价必须说清楚

驱动魔改不是官方支持的动作，改完系统就别随便升级，一升级可能直接失效。打开 P2P 还得调整平台配置，关 IOMMU、关 PCIe ACS、调 NUMA，拓扑不对反而更慢：低端主板的 root complex 对等交换能力有限，多卡 P2P 流量一挤，还不如退回原来的方案。

硬件层面，质保基本作废；稳定性层面，长期满负载可能出现偶发卡死、显存报错，得有人常年盯着；合规层面，绕过官方功能限制违反用户协议，金融、医疗、政务这类场景应避免使用。

所以结论应理解为分层使用，而非 “全部去破解”：内部研发、离线实验、短期项目，可以用定制机打开 P2P，充分利用性价比；对外商业化推理，用标准机型，配 NCCL 调优、RDMA 加速、推理框架深度调优这些合规手段，把稳定性放在性能前面。

五、七号智算怎么交付

七号智算把 5090 系列做成两条线：标准裸金属租赁，和带 P2P 优化的定制机型。客户报清模型规模、并发量、预算和合规要求，先做场景匹配再定拓扑：8 卡服务器走硬件加驱动的双重方案，推理机按是否需要 P2P 分两种配置，一体机则保持原生状态交付。

交付之后的工作更重：IB 组网、NCCL 参数调优、vLLM 与 TensorRT-LLM 的显存分片和负载均衡、容器与 K8s 调度平台，整套做完才算能用。他们手里也保留了 4090、4090D 这些旧平台资源，预算极紧的团队可以先跑起来，不必一上来就上 5090。

消费级卡填补的是中低成本算力的空白，价格只有数据中心卡的零头，代价是显存小、没有 NVLink、通信要靠工程手段补。8 卡 5090 服务器、5090 推理机、5090 一体机把三个场景分得很清楚，P2P 破解补上了最后一块短板，剩下比拼的就是选型和运维的细致程度。

六、两个最常被问到的问题

单卡 32GB 显存够不够？RTX 5090 是 32GB GDDR7、1.79TB/s 带宽，跑 32B 模型 FP16 需要约 64GB，单卡放不下，得两张卡做张量并行，或者降到 FP8 加量化压到 30GB 以内。70B 级别在 8 卡机上做 FP8 加张量并行才稳，靠的是卡多，而不是单卡显存大。显存是 5090 最硬的限制，选型时先按模型参数量乘以精度位宽估一遍，别被标称算力带偏。

跨机怎么办？P2P 只解决机内，跨机还得靠 GPUDirect RDMA。GeForce 同样默认关闭这项能力，多机之间的梯度同步会退回主机内存中转，400G InfiniBand 的带宽达不到峰值。这也是为什么同样规模的 8 卡集群，有的能线性扩展、有的加机器不提速，差别在组网参数和驱动配置，不在卡的数量。

七号智算在交付这类集群时，会把机内 P2P、机间 RDMA、NCCL 拓扑一起调，再按客户的实际负载压测一轮，把纸面参数落成可复现的吞吐数字。对预算有限又想把模型跑起来的团队，这比多买两张卡更有价值。

4090/5090突破P2P限制，详情请点击：https://aiforseven.com/p2p_08071426_96