MLPerf Inference 5.0: свежие данные по B200, TPU v6e, Granite Rapids, а также дебют GB200 и MI325X

MLCommons опубликовала результаты нового раунда бенчмарков MLPerf Inference 5.0 — одного из наиболее авторитетных и независимых сравнений производительности ИИ-ускорителей в задачах инференса. В отличие от маркетинговых заявлений производителей, результаты MLPerf проходят прозрачную верификацию и дают объективную оценку вычислительных платформ.

В предыдущем раунде (MLPerf Inference 4.1) впервые появились предварительные результаты ускорителя NVIDIA B200 (архитектура Blackwell), Google TPU v6e и CPU-инференса на базе Intel Xeon 6 6980P (Granite Rapids). AMD также впервые приняла участие, представив данные по Instinct MI300X. В текущем выпуске MLPerf представлены не только обновлённые результаты этих решений, но и новые системы: NVIDIA GB200 и AMD Instinct MI325X. Это позволяет оценить эволюцию производительности как самих чипов, так и их программных стеков.

Отдельного внимания заслуживает новая модель бенчмарка, построенная на базе Llama 3.1 405B — одного из крупнейших LLM, открывающая перспективы сравнения систем в задачах инференса масштабных языковых моделей. Все результаты доступны в полном объёме на сайте MLCommons.

Анализ данных

Мы выбрали наиболее показательные конфигурации для сравнения производительности актуальных ускорителей ИИ. Все результаты представлены в двух режимах: offline (инференс выполняется локально, без ограничения по задержке) и server (оценка критической к задержкам нагрузки в онлайн-сценариях).

На фоне резкого роста требований к производительности, CPU-решения теряют актуальность: ускорители ИИ кратно превосходят их по итоговым метрикам. Intel уже демонстрировала результаты для двух Xeon 6 6980P (128 ядер) в версии 4.1, в версии 5.0 они повторяются — прирост по сравнению с Xeon Platinum 8592+ (Emerald Rapids) удвоен, а между релизами наблюдается умеренное улучшение. Однако по сравнению с NVIDIA GH200 отставание CPU-решений остаётся значительным.

Google представила обновлённые результаты TPU v6e, показав рост производительности на 11% (offline) и 22% (server) по сравнению с предыдущими данными. Для масштабов Google Cloud такой прирост в рамках одного поколения — весомый результат.

Переход от TPU v5e к v6e оказался особенно впечатляющим — именно такие скачки и оправдывают разработку собственной специализированной аппаратной платформы для гипермасштабных инфраструктур.

Если в прошлом раунде результаты B200 были предварительными, то теперь представлены финальные данные. Ускоритель получил 180 ГБ памяти HBM3E (против 141 ГБ ранее), а архитектура Blackwell была оптимизирована под задачи инференса. Важное отличие — B200 теперь может работать с TDP до 1000 Вт (у H200 — до 700 Вт). Однако, как показывают результаты версии с CTS (Custom Thermal Solution), одной только прибавки по питанию недостаточно — архитектурные улучшения и ПО играют не меньшую роль.

В задачах инференса модели Llama2-70B B200 работает в 3 раза быстрее своего предшественника, что соответствует заявленным NVIDIA оценкам производительности.

Свежие данные позволяют сравнить флагманы AMD и NVIDIA. Instinct MI300X всё ещё уступает ускорителям Hopper (H200), но новый Instinct MI325X с 256 ГБ HBM3E и энергопотреблением до 1000 Вт демонстрирует паритет по «сырым» метрикам. Однако против B200 от NVIDIA у AMD пока нет убедительного ответа — ускоритель NVIDIA стабильно лидирует.

Следует помнить: производители публикуют собственные измерения, часто в идеальных условиях. AMD, например, в презентации MI325X демонстрировала уверенное превосходство над Hopper, но тогда сравнение не включало Blackwell. Аналогично, NVIDIA заявляет приросты в 30–60%, но обычно ссылается на узкие рабочие сценарии. Результаты MLPerf Inference 5.0 получены независимо и дают репрезентативную картину, пусть и в ограниченном наборе задач. Они не охватывают весь спектр ИИ-применений, но позволяют объективно оценить прогресс архитектур и ПО.

Одна из ключевых новаций MLPerf Inference 5.0 — включение в тестовый набор модели Mixtral 8x7B, построенной по архитектуре MoE (Mixture of Experts). Напомним, что модели MoE объединяют несколько нейросетей-экспертов, а специальная gating-сеть динамически определяет, какой «эксперт» наиболее релевантен для текущего входа пользователя. Такой подход позволяет повысить эффективность инференса за счёт активации лишь части параметров модели, что важно при работе с крупными LLM.

В MLPerf 5.0 число представленных решений для MoE-бенчмарка ограничено. Все актуальные результаты получены на оборудовании NVIDIA — ускорителях H100, H200 и B200. Отсутствие данных от AMD и Intel не позволяет провести полноценное сравнение на уровне архитектур.

При инференсе масштабной модели Llama 3.1 (405B параметров) особенно ярко проявляется влияние масштабируемости аппаратной платформы. Между поколениями H100, H200 и B200 можно наблюдать линейный рост производительности, но ключевым становится не столько абсолютная пропускная способность, сколько требуемая конфигурация системы для ее достижения — ведь именно это определяет стоимость и эффективность развертывания. В этом контексте наилучшие показатели продемонстрировала конфигурация GB200-NVL72 — флагманская платформа NVIDIA для hyperscale-нагрузок. Сравнение с системами AMD Instinct в этом тесте, к сожалению, отсутствует.

Рынок ИИ-инфраструктуры всё активнее смещается в сторону задач инференса, особенно на фоне бурного роста использования LLM. Тем не менее, потребность в ресурсах для обучения остаётся высокой, особенно с появлением новых моделей и обучающих датасетов. Архитектура Blackwell от NVIDIA ориентирована преимущественно на инференс, и результаты B200 подтверждают это: высокая энергоэффективность, масштабируемость, поддержка HBM3E и продвинутые возможности управления тепловым пакетом делают его безусловным лидером. AMD, по крайней мере в рамках MLPerf 5.0, пока не может предложить сопоставимую альтернативу и во втором полугодии 2025 года будет вынуждена активнее конкурировать с Blackwell-решениями.

TPU v6e от Google остаётся замкнутым решением: TPU используется исключительно внутри дата-центров Google, хотя и доступен внешним клиентам через облачные сервисы. Однако универсального применения у TPU нет — их эффективность напрямую зависит от характера целевой задачи, а потому сфера их применения остаётся нишевой.

Полные данные и отчёты MLPerf Inference 5.0 доступны на официальном сайте MLCommons.