Grok 3 — это последняя серия моделей компании xAI Илона Маска. Представленная 17 февраля 2025 года, эта модель была обучена с использованием суперкомпьютера Colossus, оснащенного около 200 000 графических процессоров Nvidia H100, что в десять раз превышает вычислительные мощности, использованные для предыдущей версии Grok 2.

Согласно результатам бенчмарков, представленным xAI, Grok 3 превосходит другие передовые модели, такие как GPT-4o, Claude 3.5 Sonnet, Gemini-2 Pro и DeepSeek-V3, в областях математики, программирования и научных исследований.
Модель способна решать сложные математические задачи, проводить научные исследования и создавать простые игры. Например, во время презентации Grok 3 сгенерировал вариант игры, сочетающий элементы «Тетриса» и «три в ряд».

Немаловажным преимуществом этой модели является контекстное окно 1 миллион токенов - в 8 раз больше, чем у предыдущих версий.

Помимо Grok 3 и Grok 3 mini, xAI выпустили в релиз две бета-модели рассуждений - Grok 3 (Think) и Grok 3 mini (Think). Как легко догадаться, они обучены на весах двух названных базовых моделей с помощью Reinforcement Learning совершенствовать процесс chain-of-thoughts. Это позволяет моделям Think находить оптимальные стратегии решения задач, находить ошибки в своих рассуждениях, то есть делать все то, чему обучены OpenAI o1 и DeepSeek R1. На процесс рассуждений у Grok 3 может уходить от нескольких секунд до нескольких минут.

​Технически обучить веса небольшой модели строить и оптимизировать цепочки рассуждений можно и на достаточно небольших мощностях, арендовав облачные GPU.