Microsoft ежемесячно развертывает эквивалент пяти суперкомпьютеров производительностью 561 петафлопс
Или 72000 эквивалентов графических процессоров H100 в месяц, поскольку OpenAI заявляет, что тенденции масштабирования не показывают никаких признаков замедления.
Microsoft ежемесячно развертывает эквивалент пяти суперкомпьютеров Eagle мощностью 561 петафлопс, заявил технический директор Azure Марк Руссинович.
Eagle впервые появился в рейтинге Toп 500 самых мощных суперкомпьютеров мира в ноябре прошлого года , заняв третье место. Благодаря производительности 561,2 петафлопс (HP Linpack) система Microsoft также является самым мощным облачным суперкомпьютером в мире.
«Мы обеспечили себе это место [в Top500] с помощью 14 400 сетевых графических процессоров Nvidia H100 и 561 петафлопс вычислительной мощности, что на тот момент представляло лишь часть конечного масштаба этого суперкомпьютера», — сказал Руссинович на Microsoft Build.
«Наша система искусственного интеллекта теперь на несколько порядков больше и меняется каждый день и каждый час», — добавил он, хотя Eagle показал такие же результаты в рейтинге Toп 500 за этот месяц, что позволяет предположить, что Руссинович говорил о вычислительных возможностях Azure в более широком смысле.
«Сегодня, всего шесть месяцев спустя, мы развертываем эквивалент пяти таких суперкомпьютеров каждый месяц».
Это будет эквивалентно 72 000 графических процессоров H100 каждый месяц, распределенным по растущим центрам обработки данных компании, и в общей сложности 2,8 эксафлопс вычислительных ресурсов.
«Наши высокоскоростные кабели InfiniBand, соединяющие наши графические процессоры, будут достаточно длинными, чтобы обернуть вокруг Земли как минимум пять раз», — добавил он. Окружность мира составляет около 40 000 км, что означает более 200 000 км кабелей.
В другом месте на Build технический директор Microsoft Кевин Скотт дал больше информации о будущих суперкомпьютерах компании, но был гораздо менее конкретен в отношении цифр.
«Я просто хотел, не упоминая цифр, что сложно сделать, дать вам представление о масштабировании этих систем», — сказал Скотт. «В 2020 году мы создали наш первый суперкомпьютер с искусственным интеллектом для OpenAI. Это суперкомпьютерная среда, в которой был создан GPT-3».
Вместо чисел Скотт использовал морскую дикую природу как представление масштаба. Эту систему, по его словам, можно рассматривать как акулу, по крайней мере, по размеру.
«Следующая система, которую мы построили, по масштабу примерно равна размеру косатки. Это система, которую мы создали в 2022 году и которая обучала GPT-4», — продолжил он, вероятно, имея в виду систему Eagle. Хотя его показатели далеки от точных, косатки в два раза длиннее и в три раза тяжелее больших белых акул.
«Система, которую мы только что развернули, по масштабам примерно такая же, как кит». Если расширить метрику, синий кит (тот, которого он изобразил) более чем в два раза длиннее косатки и примерно в 25 раз тяжелее.
Скотт также сказал, что разработка моделей показала, что все еще существует четкая связь между объемом вычислений, используемых для разработки новых моделей, и возможностями, на которые они способны. «И оказывается, что с помощью суперкомпьютера размером с кита можно создать целый ряд ИИ», — сказал он.
«Итак, одна из вещей, о которой я хочу, чтобы люди действительно, действительно ясно подумали, — это то, что приближается следующий образец, и этот суперкомпьютер размером с кита прямо сейчас усердно работает над созданием следующего набора возможностей, которые мы собираемся внедрить».
Ранее в этом году сообщалось, что Microsoft и OpenAI рассматривают возможность создания суперкомпьютера «Звездные врата» стоимостью 100 миллиардов долларов , но Скотт в прошлом месяце назвал спекуляции о суперкомпьютерах «забавно ошибочными».
