这里是AI贴吧网-AI资讯的硬核前线!我们24小时监测全球实验室动态,算法追踪巨头动向、代码解析学术突破,用最“硅基”视角解秘AI革命浪潮!
浪潮信息今日宣布推出元脑R1推理服务器,通过系统创新和软硬协同优化,单机即可部署运行DeepSeekR1671B模型。
注:DeepSeek开源了多版本模型,其中,DeepSeekR1671B模型作为全参数基础大模型,相比蒸馏模型具有更强的泛化能力、更高的准确性和更好的上下文理解能力,但也对系统显存容量、显存带宽、互连带宽和延迟提出了更高要求:
在FP8精度下至少需要约800GB显存承载,FP16/BF16精度下需要1.4TB以上的显存空间。
此外,DeepSeekR1是典型的长思维链模型,具有短输入、长输出的应用特点,推理解码阶段依赖更高的显存带宽和极低的通信延迟。
元脑R1推理服务器NF5688G7原生搭载FP8计算引擎,提供1128GBHBM3e显存,满足671B模型FP8精度下不低于800GB显存容量的需求,单机支持全量模型推理情况下,仍保留充足的KV缓存空间,该机的显存带宽可达 4.8TB/s。
在通信方面,GPUP2P带宽达900GB/s,基于最新推理框架单机可支持20-30用户并发。同时,单台NF5688G7配备3200Gbps无损扩展网络,可根据用户业务需求增长实现敏捷扩展,提供R1服务器集群Turnkey解决方案。
元脑R1推理服务器NF5868G8是专为大推理模型(LargeReasoningModel)设计的高吞吐推理服务器,业界首次实现单机支持16张标准PCIe双宽卡,提供最高1536GB显存容量,支持在FP16/BF16精度下单机部署DeepSeek671B模型。
该机采用基于PCIeFabric的16卡全互连拓扑,任意两卡P2P通信带宽可达128GB/s,降低通信延迟超60%。通过软硬协同优化,相较传统2机8卡PCIe机型,NF5868G8可将DeepSeek671B模型推理性能提升近40%,目前已支持多元AI加速卡选配。
想掌握最新AI隐藏技能?挖透巨头紧急下架产品的真相?点击【AI贴吧网-AI资讯】,深度解析+实战案例,智能刷新你的认知!