Суперкомпютеры

Речь идет о сверхмощном в настоящее время компютере Frontier — первом в мире с эксафлопсным показателем, который создан в 2021 году и пока не уступил никому свое первенство.
Frontier — система HPE Cray EX находится в распоряжении министерства энергетики США, оснащена процессорами AMD EPYC третьего поколения (которые насчитывают в общей сложности 8730112 ядер, оптимизированных для высокопроизводительных вычислений), ускорителями искусственного интеллекта AMD Instinct 250X и межсоединениями Slingshot-11.
В тесте HPL Frontier продемонстрировал производительность в 1,194 EFLOPS.
Его 1,194 эксафлопс (1,194 квинтиллиона операций в секунду) почти в 3 раза превышают "дышащего" ему в спину конкурента со 2-й строчки списка суперкомпютеров Fugaku (Япония), мощность которого не превышает 0,442 эксафлопс.

До сих порроизводительность суперкомпьютеров чаще всего оценивается количеством операций над числами с плавающей точкой в секунду (FLOPS), что связано с постановкой задач численного моделирования, для чего и создаются суперкомпьютеры, требующие вычислений, оперирующих вещественными числами (зачастую с высокой степенью точности), а не целыми числами.

_Показатель мощности в 1 миллиард флопс (1 Гигафлопс) был достигнут суперкомпьютерами NEC SX-2 в 1983 году с результатом 1,3 Гфлопс.
Суперкомпьютером ASCI Red в 1996 году преодолен показатель в 1 триллион флопс
(1 Тфлопс).
Суперкомпьютером IBM Roadrunner показатель мощности достиг в 2008 году 1 квадриллиона флопс (1 Петафлопс).
Суперкомпьютером Frontier превзойден рубеж мощности в 2022 году с показателем в 1 квинтиллион флопс (1 Эксафлопс). _

Оценка во флопсах позволяет легко сравнивать суперкомпьютерные системы друг с другом, опираясь на объективный критерий.
Первые суперкомпьютеры обладали мощностью порядка 1 кфлопс, то есть 1000 операций с плавающей точкой в секунду.

В США компьютер, имевший производительность в 1 МФлопс (1 миллион флопсов) (CDC 6600), был создан в 1964 году.
Известно также, что в 1963 году в московском НИИ-37 (позже НИИ ДАР) был разработан компьютер на основе модулярной арифметики мощностью 2,4 млн операций/с. Это был экспериментальный компьютер второго поколения (на дискретных транзисторах) Т340-А (гл. конструктор Д. И. Юдицкий).
Однако прямое сравнение мощности модулярных и классических ("фон-неймановских") ЭВМ некорректно.
Модулярная арифметика оперирует только с целыми числами. Представление вещественных чисел в модулярных ЭВМ возможно только в формате с фиксированной запятой, недостатком которого является существенное ограничение диапазона представимых чисел.

Дата-центр мирового лидера высокопроизводительных вычислений — Frontier

Огромный дата-центр вычислительного центра Oak Ridge Leadership Computing Facility, расположенный в городе Ок-Ридж штата Теннесси, состоит из 74-х 19-дюймовых стоек. В каждой из них размещено по 64 блейд-сервера, в сумме образующих 128 вычислительных узлов.

Каждый узел состоит из одного ЦП, 4 графических процессоров и 5 терабайт флэш-памяти. При этом к каждому графическому процессору припаяно 128 ГБ оперативной памяти.
Блейд-серверы соединены между собой 64-портовым коммутатором HPE Slingshot, обеспечивающим пропускную способность в 12,8 терабит/с. При этом соединительных кабелей (медных или оптических) настолько много, что их суммарная длина составляет 145 км.

Блейд-сервер Frontier со схемой на крышке (Источник: HPCWire)

Frontier имеет жидкостное охлаждение, что обеспечивает в 5 раз большую тепловую емкость (и эффективность) по сравнению с архитектурами с воздушным охлаждением, которые, например, использует Google в своих дата-центрах.
С помощью огромных насосов, мощностью 350 лошадиных сил, через систему прокачивается около 23 тонн воды в минуту. Вода предварительно не охлаждается, что делает систему охлаждения довольно энергоэффективной.
Система охлаждения динамическая — избирательно подстраивающаяся под рабочие нагрузки и даже на отдельных компонентах плат есть датчики, отслеживающие температуру и регулирующие интенсивность подачи воды.

Насосы под ЦОД Frontier (Источник: Alastair Philip Wiper из Bloomberg)

На "борту" системы размещены центральные и графические процессоры AMD — 9472
64-ядерных процессоров Epyc 7453 "Trento" с тактовой частотой 2 ГГц и 37888 графических процессоров Radeon Instinct MI250X.
В сумме получается 606208 процессорных ядер и 8335360 графических.

Собственная флэш-система хранения данных имеет скорость чтения 75 ТБ/с и скорость записи 35 ТБ/с. В качестве файловой системы используется параллельно распределенной тип Lustre емкостью 700 петабайт. Энергопотребление всего этого около 21 МВт.

После завершения развертывания всей системы вначале 2022 года стоимость машины составила 600 миллионов долларов. Сразу после выпуска суперкомпьютер возглавил лидерство в списке Green500 (тот же рейтинг, но другая номинация) самых энергоэффективных суперкомпьютеров с производительностью 62,68 гигафлопс/ватт.

В конце 2022 года компьютер все еще находился на стадии тестирования — система страдала от регулярных сбоев при выполнении очень ресурсоемких задач, причем некоторые проблемы были связаны с графическими ускорителями AMD, несущими основную нагрузку.
Поэтому передать Frontier в работу ученым планируют только в 2023-2024 годах. Исследовательские группы, которые получат доступ, еще толком не известны — Ок-Риджская лаборатория рассказывает лишь о нескольких.

Например, проект "Моделирование всего устройства магнитно ограниченной термоядерной плазмы" (WDMApp) планирует использовать быстроту Frontier для симуляции поведения горячей плазмы в токамаках — особых ядерных реакторах, обещающих в будущем получение безопасной энергии из термоядерного синтеза.
Моделированием полностью всей структуры плазмы токамака (ядра и периферии) еще никем не предпринималось — такая задача требует эксафлопсных вычислений с высокой точностью. Поэтому основная задача WDMApp — объединение различных вычислительных методологий и кодов для описания турбулентных взаимодействий в центре плазмы (ядре) по сравнению с взаимодействиями, возникающими на границе плазмы (периферии).

Другой проект, "Эксамасштабная атомистика для точности, длины и времени" (EXAALT), фокусируется на моделировании различных материалов для ядерной энергетики на уровне отдельных атомов — в том числе и материалов токамаков.
Благодаря Frontier исследовательская группа сможет эмулировать движение отдельных атомов, отслеживая состояния виртуальных материалов с высокой временной точностью.
Если вы придумали некий набор характеристик, которые хотели бы получить от материала — легкий, прочный и при этом дешевый, — то на его физическое создание и тестирование уйдет очень много времени. Множество параметров в процессе разработки потребуют определенных изменений, делая процесс создания довольно медленным и дорогим.
А вот виртуальное проектирование материала, его расчет, эмуляция и тестирование могут значительно сократить цикл разработки.

Пример результатов "моделирования молекулярной динамики" — вычислительного метода, основанного на статистической механике и теории термодинамики для моделирования взаимодействий различных атомов и молекул.

Министерство энергетики США тоже очень хочет заполучить Frontier в свои ряды организация сосредоточилась на паре десятков первостепенных проблем энергетической области и планирует решить с помощью суперкомпьютера.

Задач действительно много — моделирование ядерных реакторов, ветряных электростанций, электросетей, сжигания ископаемого топлива, ДВС наземных турбин. Министерство также хочет смоделировать большую часть межсетевых соединений в стране, чтобы оптимизировать работу линий электропередач.

Суперкомпьютеры помогают ученым предвидеть изменения климата и исследовать происхождение Вселенной.

У компании Facebook другие цели – она хочет развивать виртуальную реальность и за секунду анализировать данные, на которые обычные компьютеры потратили бы сотни лет. Насколько близок к этому Марк Цукерберг

Разработку сверхбыстрого компьютера AI Research SuperCluster (RSC) компания Meta Марка Цукерберга начала в 2020-м – наиболее неблагоприятном для этого году.
В разгар пандемии и кризиса микрочипов команда исследователей удаленно работала над созданием компьютера, который поможет Цукербергу воплотить мечту – построить метавселенную. "Развитие метамира требует огромной вычислительной мощности, – говорит Цукерберг в комментарии для The Wall Street Journal. – Суперкомпьютер поможет нам создавать программы на основе искусственного интеллекта, которые смогут учиться на триллионах примеров, понимать сотню языков".

В январе 2022 года, через 18 месяцев преимущественно удаленной работы, Meta представила первую версию RSC. Этот суперкомпьютер выглядит как дата-центр: 760 блоков с процессорами компании Nvidia объединили в кластеры в одном из построенных специально для RSC складов. Meta не раскрывает, где именно находится ее устройство и сколько стоит оборудование. О масштабе расходов говорят аналогичные проекты.

Стоимость самого мощного на сегодняшний день суперкомпьютера Fugaku в Японии – $1 млрд, разработка второго по мощности суперкомпьютера Summit от компании IBM обошлась примерно в $200 млн, американского компьютера Sierra – в $150 млн.

Сейчас суперкомпьютер Цукерберга имеет 6080 графических процессоров Nvidia, что делает его пятым самым быстрым в мире. Летом 2022 года, когда Meta закончит работу над RSC, у него будет 16000 процессоров. Он станет самым быстрым в мире суперкомпьютером с искусственным интеллектом, уверяет Цукерберг. Для сравнения, суперкомпьютер Microsoft использует 10000 графических процессоров.

Суперкомпютеры используется для решения сложных научных и инженерных задач, требующих выполнения множества математических вычислений и которые работают с гигантскими объемами данных.
Суперкомпьютеры используют для прогноза погоды, для расшифровки ДНК, при разработке ядерного оружия, конструировании автомобилей и исследовании наилучших методов лечения коронавируса.

Основная задача суперкомпьютера компании Meta – тренировать ИИ-системы. Это программы или алгоритмы на основе искусственного интеллекта, анализирующие большие массивы данных чтобы искать в них закономерности. С необходимым количеством информации самостоятельно они могут сами делать выводы и предсказания.
Работа таких алгоритмов – основной бизнес Facebook. Они занимаются автоматической модерацией контента – распознают хейт-спич, анализируют текст, изображения и видео. Благодаря суперкомпьютеру этот процесс будет более точным и быстрым, а контент для пользователей – более качественный.

Компания хочет развивать дополненную реальность, чтобы строить метавселенную. Для него Meta разрабатывает голосовой перевод в режиме реального времени – так группы людей разных стран смогут виртуально работать над одним проектом и понимать друг друга.
"Желание Facebook иметь собственный суперкомпьютер понятно – он собирает столько данных, сколько ни один другой компьютер не может проанализировать", – говорит Билл Гропп, директор Национального центра суперкомпьютерных технологий в Университете Иллинойс.

Meta обещает, что финальная версия ее компьютера будет работать со скоростью 5 экcафлопс (это примерно 5 квинтиллионов Flops).
Суперкомпьютер Meta может быть самым быстрым среди тех, которые создают для тренировки искусственного интеллекта, но не среди ученых используют для космических или атомных вычислений, говорит исследователь суперкомпьютеров Боб Соренсен.
Точность вычислений научных суперкомпьютеров, по его словам, намного выше, чем используемых для тренировки ИИ. Последним просто не нужно знать результат с точностью до тысячной доли процента. Результат вроде «это на 90% кот» для них подойдет при условии, что алгоритмы будут анализировать миллионы данных очень быстро.

Пока неизвестно, какое место займет суперкомпьютер Цукерберг в рейтинге Top500.org, который публикуют дважды в год. Сейчас первые места в нем занимают более медленные, но более точные научные суперкомпьютеры.

Секретный суперкомпьютер Tianhe 3 (его еще также называют Xingyi), как выяснилось, работает на базе китайского гибридного процессора. Машина составляет конкуренцию системам США, демонстрируя производительность 1,57 Эксафлопс, передает Tom's Hardware.
По слухам, в Китае имеется 3 непубличные эксафлопсные системы (OceanLight, Tianhe-3, The Sugon system). Однако, до сих пор эта информация официально не подтверждалась.

Статистика: По данным на ноябрь 2023 года по числу систем в рейтинге страны распределяются так: США — 161 суперкомпьютер, Китай — 104, Германия — 36, Япония — 32, Франция — 23, Великобритания — 15, Италия — 12, Южная Корея — 12,
Нидерланды — 10, Канада — 10, Бразилия — 9, Саудовская Аравия — 7, Россия — 7.