Intel представила ИИ-ускоритель Gaudi 3: 5 нм, 128 ГБ HBM2e, до 900 Вт, на 50% быстрее и на 40% эффективнее, чем NVIDIA H100

Intel официально представила свой ИИ-ускоритель следующего поколения Gaudi 3, основанный на 5-нм техпроцессе и напрямую конкурирующий с GPU NVIDIA H100.

Gaudi 3 включает 64 тензорных ядра в двух вычислительных чипах, 96 МБ общего кеша, восемь блоков HBM с 128 ГБ памяти HBM2e и пропускной способностью до 3,7 ТБ/с. Чип производится по 5-нм техпроцессу TSMC и имеет 24 интерконнекта 200GbE.

Gaudi 3 будет доступен в форм-факторах Mezzanine OAM (HL-325L) с TDP до 900 Вт и PCIe AIC (HL-338) с пассивным охлаждением до 600 Вт. Intel также анонсировала собственную базовую плату HLB-325 и интегрированную подсистему HLFB-325L, которые могут нести до 8 ускорителей Gaudi 3 с суммарным энерго 7,6 кВт.

По сравнению с предшественником, Gaudi 3 обещает 4-кратное увеличение ИИ-вычислений для BF16, повышение пропускной способности памяти в 1,5 раза и пропускной способности сети в 2 раза для масштабирования массивных систем.

В сравнении с NVIDIA H100, Intel Gaudi 3, согласно прогнозам, обеспечит:

• В среднем на 50% более быстрое время обучения на моделях Llama2 7B и 13B и модели GPT-3 175B

• На 50% более высокую пропускную способность вывода и на 40% лучшую энергоэффективность вывода на моделях Llama 7B и 70B и модели Falcon 180B

• Еще большее преимущество в производительности вывода на более длинных входных и выходных последовательностях

Gaudi 3 будет доступен производителям оборудования во втором квартале 2024 года, а массовая доступность ожидается в третьем квартале.