Nvidia выпустила новейший ИИ-суперчип

25.03.2024

Поделиться:

Недавно Nvidia анонсировала выпуск «самого мощного ИИ-чипа на рынке». Вдобавок к чипу компания пообещала выпуск нескольких модульных систем на основе чипа. Естественно, новинка сразу же привлекла внимание общественности, поскольку, по заверениям разработчика, она идеально впишется в построение инфраструктуры, которая способна нагружать модели машинного обучения с множеством параметров (количество надстроек исчисляется триллионами) и при этом расходовать значительно меньше энергии, нежели её предшественники из линейки Hopper.

Что собой представляет?

Ускоритель вычислений от Nvidia был создан на базе архитектуры Blackwell. Согласно пресс-релизу Nvidia, разработка должна стать основой для создания высокопроизводительных систем, которые, в свою очередь, нужны для обучения и регулировки процесса исполнения гигантских моделей, имеющих триллионы параметров. В современной индустрии эта разработка как нельзя кстати, поскольку глобальный переход и внедрение в различные сферы нейросетей требует совершенствования вычислительных процессов и систем. А такие сложные модели смогут использоваться для решения множества задач, связанных с обработкой NLP, создания многофункциональных приложений, генераторов медиа, кодогенераторов и т.д.

Архитектура унаследовала своё название от Дэвида Блэквелла, учёного, который специализировался на математике и, что гораздо важнее, статистике.

Технические параметры

GPU B200 стал идейным наследником бывших особенно востребованными ранее H100/H200. Выполнен он по 4-нанометровому технологическому процессу TSMC. Новинка несёт 208 млрд. транзисторов (для сравнения, популярный Н100 может похвастать лишь 80 млрд.). Это позволяет добиться производительности на уровне 20 FP4. Уже сейчас Nvidia утверждают, что их разработка является самым мощной в истории и, недолог час, она станет прорывом в промышленности, настоящим предвестником технической революции.

Разработчики компании заверили, что системы на основе архитектуры Blackwell могут решать всё те же задачи, что способны были решать системы, базирующиеся на ранее использующихся Hopper, однако энергоэффективность у них при этом будет значительно выше (до 25 раз эффективнее), а затраты электроэнергии и траты на приобретение оборудования будут куда более низкими.

Исследования показали, что обучение модели с 1,8 трлн. параметров раньше требовало около 8 тыс. ускорителей (GPU семейства Hopper) и 15 МВт мощности питания. GPU Blackwell разрушает привычные представления и обещает справиться с той же задачей за счёт 2 тыс. ускорителей при общей мощности питания всего в 4 МВт.

Кроме самих графических процессоров модели В200, Nvidia также предлагает готовые модули для построения и масштабирования ИИ-инфраструктуры на их базе. Стоит отметить также, что модуль GB200, который и именуется Nvidia мощнейшим, на деле состоит из трёх элементов:

• GPU B200 (2 шт, связаны между собой шиной NVLink 5, имеющей пропускную способность в 1,8 тб/с);
• центральный процессор модели Grace (он соединяется с GPU-шиной NVLink-C2C и выдаёт пропускную способность равную 900 гб/с).

Данные Nvidia наглядно демонстрируют, что в бенчмарке языковой модели GPT-3, в которой содержится более 175 млрд. параметров, суперчип показывает производительность, уровень которой превышает почти в 7 раз показатели прежней модели Н100.

Nvidia также предлагает модульные серверы типа DGX Superpod, на основе своей новейшей разработки. Система состоит из восьми стоек типа NVL72, общая производительность которых составляет 11,5 Эфлопс.

К слову, одна система GB200 NVL72 может спокойно обеспечить инференс модели, имеющей 27 трлн. параметров. Для сравнения напомним, что популярная ныне языковая модель GPT-4, которой пользуется уже ставший самым востребованным ChatGPT, содержит всего 1,7 трлн. параметров.

Прогнозы

Сейчас аналитики компании Nvidia наперебой твердят о том, что разработка новейших суперчипов – это буквально новое слово в науке и технике. Якобы архитектура, разработанная компанией, может объединять в себе десятки тысяч устройств GB200 с использованием 800-гигабитных коммутаторов Quantum-X800 InfiniBand, а также Spectrum-X800 Ethernet, которые на сегодняшний день позиционируются как специально разработанные элементы для работы с генеративными системами.

Кроме того, Нвидиа осуществила модернизацию коммутаторов NVLink Switch, которые обеспечивают взаимодействие GPU при помощи высокоскоростных шин типа NVLink. Для этого инженерам даже пришлось разработать особый сетевой чип с 50 млрд. транзисторов, чтобы получить производительность на уровне 3,6 Тфлопс.

Стоит напомнить, что использовавшийся ранее Hopper около 60% времени расходовал лишь на одно только взаимодействие с «соседями», а оставшиеся 40% он выполнял нужные вычисления. Теперь же, благодаря разработке компании Nvidia, баланс изменился – часть нагрузки перейдёт на новый процессор коммутатора NVLink Switch.

Крупнейшие представители технологического рынка уже сейчас планируют использовать нововведения Nvidia. Однако о том, сколько именно машин готовы приобрести гиганты рынка, пока не разглашается.