ИИ-чип Groq показал потрясающую производительность в больших языковых моделях

Компания по производству ИИ-чипов Groq хочет, чтобы все забыли о чат-боте Илона Маска с почти таким же названием — Grok. Впечатляющие демо-версии от Groq стали вирусными на этой неделе, заставив текущие версии ChatGPT, Gemini и других чатботов выглядеть неповоротливыми. Groq утверждает, что предоставляет "самые быстрые в мире модели обработки естественного языка", и независимые тесты говорят, что это утверждение может оказаться верным.

За долю секунды Groq генерирует сотни слов в фактологическом ответе, ссылаясь на источники по ходу дела, согласно демо, опубликованному на X. В другом демо основатель и генеральный директор Джонатон Росс позволил ведущему CNN провести живой вербальный диалог с ИИ-чатботом на другом конце Земного шара в прямом эфире. Хотя ChatGPT, Gemini и другие чат-боты впечатляют глубиной и качеством, Groq может сделать их еще и очень быстрыми. Достаточно быстрыми, чтобы быть полезными во многих сферах.

Groq создает ИИ-чипы, которые они называют LPU ( Language Processing Unit) и утверждают, что они быстрее, чем GPU Nvidia. Графические процессоры NVIDIA обычно считаются отраслевым стандартом для запуска ИИ-моделей, но первые результаты показывают, что LPU значительно их опередят.

Groq представляет собой не чат-бот, а "вычислительный движок", который помогает таким чатботам, как ChatGPT, Gemini или Grok, работать невероятно быстро, но не заменяет их полностью. На сайте Groq вы можете протестировать различные чат-боты и посмотреть, насколько быстро они работают на LPU Groq.

Согласно независимым тестам компании Artificial Analysis, Groq выдает 247 токенов/секунду по сравнению с 18 токенами/секунду от Microsoft. Это значит, что ChatGPT мог бы работать более чем в 13 раз быстрее, если бы использовал чипы Groq.

Такие ИИ-чатботы, как ChatGPT, Gemini и Grok, могли бы быть значительно более полезными, если бы они работали быстрее. Одно из текущих ограничений заключается в том, что эти модели не могут угнаться за речью человека в реальном времени — некоторые задержки заставляют диалог казаться роботизированным. Недавно Google инсценировали демонстрацию Gemini, фальсифицируя разговор с ИИ в реальном времени. Но с более высокими скоростями от Grok это видео могло бы стать реальностью.

Несмотря на ажиотаж вокруг Groq, предстоит выяснить, обладают ли ее AI-чипы такой же масштабируемостью, как GPU Nvidia или TPU Google. Сейчас ИИ-чипы стали главным фокусом генерального директора OpenAI Сэма Альтмана, который даже рассматривает возможность создания их с нуля.