ASROCK B300 Nvidia

ASRock 8U16X-GNR2 B300 — серверная платформа вокруг сборки NVIDIA HGX B300 NVL8: восемь ускорителей Blackwell Ultra в едином NVSwitch-домене с жидкостным охлаждением. Суммарно это 2,3 ТБ GPU-памяти HBM3e, 144 петафлопса FP4 и 14,4 ТБ/с NVLink-полосы внутри узла. По данным NVIDIA, один такой сервер при инференсе Llama 3.1 405B работает в 11 раз быстрее H100-системы аналогичного класса.

Технические характеристики платформы

Что делает платформу значимой для AI-инфраструктуры

Архитектура Blackwell Ultra — это не следующая версия B200, а принципиально другой подход к памяти. Каждый B300 несет 288 ГБ HBM3e через 12-слойные стеки памяти вместо 8-слойных у B200. Суммарные 2,3 ТБ на одном узле позволяют держать в памяти модели с числом параметров, которые прежде требовали нескольких серверов. Для задач с длинным контекстом и большими KV-кешами это означает устранение главного узкого места — постоянного обращения к CPU-памяти или внешнему хранилищу.

NVLink пятого поколения с суммарной полосой 14,4 ТБ/с внутри узла снижает накладные расходы tensor parallelism до уровня, при котором разбиение трансформерных слоев между восемью GPU перестает быть узким местом. Pipeline parallelism и expert parallelism для MoE-архитектур получают достаточную пропускную способность для предсказуемого масштабирования.

Intel Xeon серии 6700 в двухсокетной конфигурации дает 32 DDR5-слота (16 на CPU) в режиме 2DPC. По сравнению с платформами на базе Xeon 6900P с меньшим числом слотов это позволяет набрать несколько ТБ системной RAM без перехода на дорогие модули высокой емкости. Серия 6700E несет E-ядра с повышенной энергоэффективностью: до 1,46× производительности на ватт относительно Intel Xeon 5-го поколения. Для предобработки датасетов, управления потоками данных к GPU и CPU-bound операций это снижает общее энергопотребление системы.

Ключевые возможности и параметры платформы:

• 2,3 ТБ суммарной GPU-памяти HBM3e — в 3,6 раза больше, чем у H100
• 144 PFLOPS FP4 на систему из 8 GPU
• NVLink 5-го поколения с полосой 14,4 ТБ/с между ускорителями
• 11× быстрее H100 при инференсе Llama 3.1 405B (данные NVIDIA)
• 4× быстрее обучение LLM класса Llama 3.1 405B по сравнению с H100
• Intel Xeon 6700E/P: до 1,46× производительности на ватт vs. Xeon 5-го пок.
• Блоки питания уровня Titanium — наивысший класс КПД среди стандартных PSU

Производитель дает 3-летнюю гарантию на серверы и накопители.

ASRock Rack как платформа под HGX B300

ASRock производит серверы с GPU с 2015 года, и это не случайный выход в сегмент по запросу рынка. Компания прошла через несколько поколений NVIDIA GPU: от V100 до A100, H200 и теперь B300. Каждое поколение сопровождалось переработкой конструкции шасси под новые требования по питанию и охлаждению.

Для B300 ASRock спроектировал шасси 8U16X-GNR2 с шестью блоками питания Titanium по 3000 Вт каждый в конфигурации 6+6. Это обеспечивает резервирование при суммарном потреблении, которое у восьми B300 при полной нагрузке превышает 11 кВт только от GPU. Двухуровневая компоновка — CPU и память в верхней части, GPU-сборка HGX в нижней — разделяет тепловые контуры процессорного и GPU-отсеков, что повышает стабильность при непрерывной работе.

32 DDR5-слота в режиме 2DPC — характерное решение ASRock Rack для платформ на Xeon 6700. В сравнении с конкурентами, использующими меньшее число слотов при более емких модулях, это снижает стоимость набора системной RAM при том же суммарном объеме.

Поддержка NVIDIA AI Enterprise, полная совместимость с CUDA 12.x, PyTorch, TensorFlow, TensorRT-LLM, vLLM и JAX подтверждена производителем для платформ ASRock на HGX-сборках.

Сценарии применения