Суперкомпьютер Маска назван крупнейшим в мире: сколько энергии потребляет машина, и какие результаты выдает

Илон Маск сообщил о запуске параллельного обучения семи крупных языковых и мультимодальных моделей на суперкомпьютерном кластере «Colossus 2».

Миллиардер-изобретатель заявил, что его очередное детище потребляет более 1 ГВт электроэнергии.

Компания xAI уже ввела в эксплуатацию данную установку, предназначенную для обучения модели Grok и выполнения других задач искусственного интеллекта, сообщает ixbt.

Colossus 2 стал первым в мире ИИ-кластером, чье энергопотребление достигло уровня 1 ГВт, что превышает пиковое потребление электроэнергии такого крупного города, как Сан-Франциско.

Для понимания масштаба: один гигаватт способен обеспечить электричеством около 750 тысяч типовых американских домохозяйств в течение часа.

В настоящий момент в процессе обучения на Colossus 2 находятся улучшенная генеративная модель изображений и видео Imagine V2.

Также тренируются два варианта модели объемом 1 триллион параметров и два варианта модели объемом 1,5 триллиона параметров.

Помимо них, кластер одновременно обучает модель с 6 триллионами параметров и самую крупную модель с 10 триллионами параметров.

На вопрос о времени, необходимом для обучения модели с 10 триллионами параметров, Маск заявил, что предварительный этап обучения длится около двух месяцев.

Полный цикл обучения, включая пост-тренинг и настройку, может занять больше времени, однако компания пока не раскрывает эти сроки.

Уточняется, что энергопотребление «Colossus 2» ставит его в один ряд с крупнейшими государственными суперкомпьютерными проектами, но в частном секторе аналогов ему пока нет.