«Квантовый компьютер функционирующий, он гораздо страшнее атомный бомбы», — считает генеральный директор компании Acronis, сооснователь Российского квантового центра Сергей Белоусов. Планируется, что мощность компьютера будет увеличена до 234,4 Тфлопс к 2025 году, а конструкция расширится до 34 узлов. Финансирование суперкомпьютера велось на средства федерального гранта. Российский президент Владимир Путин сообщил, что необходимо не менее чем на порядок нарастить мощности суперкомпьютеров России. Планируется, что мощность компьютера будет увеличена до 234,4 Тфлопс к 2025 году, а конструкция расширится до 34 узлов. Финансирование суперкомпьютера велось на средства федерального гранта.
Суперкомпьютеры
Обновление такого мощного устройства если и возможно, то затратно настолько, что проще изготовить новый. Но из чего его изготавливать, если для того, чтобы дойти до того же уровня технологий, которые есть у Nvidia и производить конкурентный аппаратный продукт, России понадобится несколько десятилетий? Увы, серьёзно опоздали россияне! Теперь же надо срочно догонять ушлых западников!
Суперкомпьютеры Яндекса: взгляд изнутри Недавно три наших новых GPU-кластера заняли 19, 36 и 40 места в рейтинге суперкомпьютеров Top500. Это лучшие результаты среди всех участвующих в нём суперкомпьютеров России. Последний год был очень необычным в Яндексе.
Мы собрали и запустили три новых GPU-кластера для задач в области машинного обучения. К примеру, теперь именно на них обучаются гигантские нейросетевые модели Поиска, Алисы и других наших сервисов. Может показаться, что для запуска такого кластера самое сложное — это купить вагон GPU-карточек.
В условиях «чипагеддона» это отчасти правда, но нет, самое сложное не в этом. Тут-то и начинается наша история. Пробный подход к снаряду В 2019 году произошла так называемая «революция трансформеров»: был опубликован ряд статей, которые показали, что применение гигантских нейросетей-трансформеров даёт удивительные результаты на задачах анализа текста.
В частности, эти сети очень хорошо подходят для решения задачи ранжирования документов по запросу и для машинного перевода. Более того, их применение не ограничивается сугубо языковыми задачами: трансформерная архитектура позволяет генерировать голос из текста и наоборот, предсказывать действия пользователя и многое другое. В общем, именно трансформеры сейчас определяют качество основных продуктов Яндекса.
Если вам интересны детали, коллеги уже рассказывали на Хабре о внедрении этой архитектуры в нашем поиске. Но проблема была в том, что обучение таких моделей требует огромных вычислительных мощностей. Например, если обучать модель с нуля на обычном сервере, на это потребуется 40 лет, а если на одном GPU-ускорителе V100 — 10 лет.
Но хорошая новость в том, что задача обучения легко параллелится, и если задействовать хотя бы 256 тех же самых V100, соединить их быстрым интерконнектом, то задачу можно решить всего за две недели. Сейчас мы такую задачу можем решить за несколько часов, но об этом позже. Мы попробовали собрать «нулевой» кластер буквально из того, что было под рукой.
Результаты замеров показали низкий КПД масштабирования. В попытках понять причину придумали методику оценки, которая не требовала глубокого понимания алгоритма работы конкретного обучения. Достаточно построить график потребления энергии и обмена трафиком в одном масштабе.
Обучение идет повторяющимися итерациями: 1. Каждый GPU получает свой batch и обсчитывает его синяя ступенька 2. Затем GPU обменивается по сети с соседями посчитанными результатами зелёная ступенька 3.
GOTO 1 На графике сразу же виден корень проблемы. Не самый эффективный способ использовать железо, согласитесь. Эксперименты на таком кластере проводить можно, но считать что-то серьёзное — нереально.
Поэтому стали собирать новое решение, «расшивая» все узкие места интерконнекта. Попутно столкнулись и с другими сложностями. Яндекс, в свою очередь, уже много лет живёт в дата-центрах IPv6-only.
Фиксы, кстати, выкладываем в опенсорс. Первые кластеры Первый мини-кластер GPU, созданный специально под задачи применения трансформеров c учётом описанных выше узких мест, появился у нас во владимирском дата-центре летом 2020 года. В кластере было 62 узла по 8 GPU в каждом — всего 496 видеокарт.
Казалось бы, сотни видеокарт! Но этого по-прежнему было мало для наших задач, хотя кластер и помог нам начать внедрять трансформеры для улучшения Поиска. Затем в другом нашем ДЦ, в городе Сасово в Рязанской области, появился первый большой кластер.
Мы назвали его в честь Алексея Ляпунова — знаменитого математика, чьи работы лежат в основе кибернетики и теории машинного обучения. Пришлось искать причины и оптимизировать. Коллеги из локального офиса NVIDIA посоветовали потратить ещё несколько дней на замеры производительности, чтобы зарегистрировать кластер в списке Top500.
Но в тот момент мы от этого отказались: торопились отдать кластер нашим ML-инженерам, чтобы загрузить его работой уже на новогодние праздники. Тем более, что тогда мы ещё не осознавали никакой практической пользы от замеров. Логично было распространить этот опыт и на GPU.
В отличие от обычных компьютеров, суперкомпьютеры могут использовать продвинутые методы моделирования с высокой точностью прогноза. В будущем это позволит, например, отказаться от испытаний ядерного оружия и заранее узнавать о потенциальных природных катаклизмах. Раньше при проектировании автомобиля инженеры заставляли его врезаться в стену, чтобы увидеть, насколько хорошо он выдержит удар. Это довольно дорого и требует много времени. Сегодня мы просто создаем компьютерную модель машины и заставляем ее врезаться в виртуальную стену.
Систему «Червоненкис» признали самой производительной в России и Восточной Европе. Сбербанк представил свой первый суперкомпьютер в 2019 году, тогда же машина вошла в TOP500 и стала одной их самых мощных в России. Компания использует свои машины для развития искусственного интеллекта, а также сдает мощности в аренду. Мощность: Christofari Neo 43 место — 11,95 Пф. Christofari 72 место — 6,66 Пф.
МГУ использует Lomonosov-2 для собственных проектов, а также задач третьих лиц.
Предполагаемый объем потребления электроэнергии дата-центром составит до 82 мегаватт. По предварительным оценкам, общая стоимость проекта достигнет приблизительно 30 млрд рублей.
Этот прогноз оказался верным для ChatGPT. Даже если система будет запрограммирована этически обоснованным образом — к примеру, с учетом принципа, что жертв среди гражданского населения следует избегать любой ценой. А что, если компьютер подсчитает, что бомбардировка больницы может в долгосрочной перспективе избежать гражданских целей? Это абсолютно реалистичный сценарий, и никто не узнает, как компьютер вообще додумался до такого. Нам нужны международные соглашения, запрещающие использование AI в войне.
Самый мощный суперкомпьютер будет создан в России
В России действует и помогает решать серьёзные задачи один из самых мощных суперкомпьютеров в мире. Поэтому один из самых крупных суперкомпьютеров в России – в Гидрометцентре. В результате Россия тогда имела 2,48% суммарной производительности всех суперкомпьютеров мира. В космосе может появиться российский суперкомпьютер. В России действует и помогает решать серьёзные задачи один из самых мощных суперкомпьютеров в мире.
Самый мощный суперкомпьютер в России
Современные суперкомпьютеры строятся по кластерному принципу и представляют собой большое число мощных вычислительных узлов, соединенных высокоскоростной локальной сетью», — сообщили в министерстве. Как сообщили в пресс-службе министерства, суперкомпьютер «Афалина» применяется для решения научных задач по нескольким направлениям: для расчета процессов в глобальной климатической системе, создания фрагмента национального геномного банка данных растений, молекулярного моделирования, а также цифровизации Севастополя. Например, проанализировав данные генома растений, ученые могут составить генетический «портрет» изучаемого объекта — бактерии, виноградной лозы, моллюска и других. При этом они не только видят, какие гены есть у объекта исследования в общем, но и более конкретную информацию: какие элементы генома использовались чаще, какие — реже. В результате исследователи могут установить и то, какие факторы и как именно влияли на развитие выбранного существа или растения.
Баумана, рассказал «Газете. Ru» генеральный конструктор проекта Алексей Попов. Суперкомпьютер предназначен для работы с графами — совокупностью объектов и связей между ними на основе параметров объектов, пояснил специалист-исследователь в области машинного обучения компании «Криптонит» Георгий Поляков. В математике объекты называют вершинами, а связи между ними — ребрами. Например, схема перелетов авиакомпании между городами — это граф. В качестве вершин выступают аэропорты в городах, а в качестве ребер — факт наличия прямого авиационного маршрута между городами», — сказал Георгий Поляков Вычисления с использованием графов позволяют делать качественные прогнозы в сложных системах относительно любых объектов — как человек и влияние лекарств на его организм, так и зерно с его влиянием на стоимость металла. Такие вычисление позволяют найти информацию о событиях с неочевидной взаимосвязью в большом массиве данных.
К примеру, можно понять, как связаны несколько людей, как одни банковские транзакции повлияли на динамику других. Построение жестких связей между объектами и их параметрами позволяют сделать качественный прогноз. Это ценная возможность для любой области деятельности — от банковской сферы и оптовой торговли до криминалистики. Валерий Андреев заместитель гендиректора по науке и развитию компании ИВК, кандидат физических и математических наук Источник фото: Pixabay По словам генерального конструктора проекта, в долгосрочной перспективе такая особенность суперкомпьютера позволит создать цифрового двойника человека, чтобы проводить на нем эксперименты с разными курсами лечения. То есть процессор «Тераграфа» будет предлагать разные решения для решения проблемы — это свойство можно назвать «интуицией», добавил Попов.
Самый мощный суперкомпьютер будет создан в России Дата публикации: 14. Планировалось, что проект будет реализован в три этапа и завершится в первом квартале 2027 года.
Сегодня разрыв по этому показателю от США составляет 11,5 лет. Если это расшифровать, то такую вычислительную мощность, как сейчас в России, США имели 11,5 лет назад. Технологическое отставание то есть готовность создавать и владеть системами уровня Top1, Top5, Top10 также усилилось — от технологий Top1 мы отстаём на 11 лет. Напомним, что в 2012 году технологическое отставание от Top1 было всего 2,5 года. В мировом пироге производительности года наша страна сильно упрочила свою позицию в 2021 году, когда компании Яндекс, Сбер и МТС купили шесть достаточно мощных суперкомпьютерных установок для своих корпоративных нужд. Формально индекс цифровизации России упал за прошедшие два года: сегодня он у нас в 4,6 раз хуже, чем у США, в 2,7 раз хуже, чем у Евросоюза, в пять раз хуже, чем у Японии, и 2,2 раза — по сравнению с миром. В целом суперкомпьютерная отрасль в мире стремительно развивается. В передовых странах нащупаны основные направления решений технологических трудностей предыдущего десятилетия — и для аппаратных, и для программных средств суперкомпьютеров эксафлопсного масштаба. На сегодняшний день успех трёх систем в США Frontier, Aurora, Eagle и одной — в Японии Fugaku достигнут за счёт мощной государственной и межгосударственной поддержки, наличия нескольких альтернативных конкурентных подходов, консолидации передовых технологических решений по разным направлениям. В России нет новых суперкомпьютерных разработок переднего края в последние десять лет. Создание отечественных супер-ЭВМ закончилось в 2014 году и лучшие из них относятся к петафлопсному классу.
В МГТУ им. Баумана разработали суперкомпьютер, находящий неочевидные связи
В результате Россия тогда имела 2,48% суммарной производительности всех суперкомпьютеров мира. Один из пяти самых мощных суперкомпьютеров, которые установлены в российских вузах, находится в Севастопольском государственном университете. В России представили суперкомпьютер «Тераграф», построенный на уникальном отечественном микропроцессоре.
В России разработан первый в мире суперкомпьютер для цифрового «клонирования» людей и городов.
| Академик Каляев предложил объединить суперкомпьютеры под управлением ИИ | Свой суперкомпьютер Jetson Xavier NVIDIA представила ещё в 2018 году — он способен выполнять 30 трлн операций в секунду. |
| На пути к зеттафлопсу: в НЦФМ осваивают новые технологии для создания суперкомпьютеров | Свой суперкомпьютер Jetson Xavier NVIDIA представила ещё в 2018 году — он способен выполнять 30 трлн операций в секунду. |
| Microsoft и OpenAI построят ИИ-суперкомпьютер Stargate за $100 миллиардов | В рейтинге Тор500 самых мощных мировых суперкомпьютеров проект «Яндекс» под названием «Червоненкис» занял 19 место в общемировом зачёте, и, таким образом, стал самым мощным решением в России и Восточной Европе. |
| Вот это прорыв: Россия попала в мировой топ самых мощных суперкомпьютеров | Что с суперкомпьютерами в России сейчас? |
| Суперкомпьютер Сколтеха войдет в десятку самых мощных в РФ | Один из пяти самых мощных суперкомпьютеров, которые установлены в российских вузах, находится в Севастопольском государственном университете. |
Суперкомпьютер «Яндекса» признан самым мощным компьютером России
На сайте Минобранауки рассказано о новой разработке российских ученых – первых в мире микропроцессоре и суперкомпьютере, в которых на аппаратном уровне реализован набор команд дискретной математики DISC. В Новосибирске учёные разработали и запустили суперкомпьютер, который обладает впечатляющей вычислительной мощностью. «Сбер» представил новый суперкомпьютер для ускорения задач в области искусственного интеллекта. И о перспективах ближайших: Российская академия наук намерена вплотную приступить к созданию суперкомпьютера мощностью 1 петафлопс. В ноябрьском рейтинге суперкомпьютеров лучший из российских занимает 79 место.
В современном мире побеждает тот, кто лучше планирует
Ломоносова ректор В. Садовничий открыл новый суперкомпьютер, обладающий специализированной архитектурой. Компьютер поможет в проведении научных исследований в области искусственного интеллекта ИИ , решении задач по разработке отечественного программного обеспечения и подготовке высококвалифицированных специалистов. Ректор Московского университета академик В. Садовничий: «В середине 1950-х годов именно Московский университет стал первым вузом в стране с собственным вычислительным центром.
В стенах МГУ сосредоточились лучшие умы в области информационных технологий, многие из которых — наши выпускники. Здесь разрабатывались и внедрялись передовые вычислительные машины.
Интересно, что разработчики не успели измерить реальную производительность на всём смонтированном объёме оборудования, из-за чего Aurora не смогла превзойти производительность системы Frontier. Конечно, за полгода инженеры решат эту проблему, и установка Aurora покажет лидерскую производительность, близкую к 2 EFlops. И, скорее всего, в июне 2024 года она займет первое место в рейтинге, потеснив нынешнего лидера — суперкомпьютер Frontier в Национальной лаборатории Oak Ridge National Laboratory, США. Если производитель вычислительных компонент в системе Aurora — компания Intel, то инфраструктурная часть интерконнект, электропитание, охлаждение, компоновка обеспечена компанией Hewlett Packard Enterprise — так же как и в системе Frontier. Третье место в текущем рейтинге занимает система Eagle, созданная компанией Microsoft, и собранная из совершенно стандартных модулей, которые штатно используются компанией в её центрах обработки данных для организации облачного сервиса Microsoft Azure. Установка создана всего за полгода, что в четыре раза быстрее средней продолжительности создания систем уровня Top1, то есть это своеобразный «временной» рекорд.
Таким образом, тройка лидеров иллюстрирует всё многообразие технологических подходов к созданию систем эксамасштабного уровня, то есть с производительностью более 1018 Flops. В рейтинге Top500 сохраняется тенденция жёсткого расслоения систем. Производительность первой системы в 500 раз больше производительности последней. И этот разрыв растёт из года в год. Кризис, с которым столкнулась суперкомпьютерная отрасль мира в 2016—2017 годах, сейчас преодолён: сегодня можно сказать, что производительность высших систем будет вырастать в 1000 раз за 17—18 лет против 23—24 лет в проблемные годы.
Суперкомпьютеры «Яндекс» названы в честь советских и российских учёных, которые внесли вклад в развитие машинного обучения и компьютерных наук. Суперкомпьютеры «Яндекс» вступили в эксплуатацию в конце 2020 — середине 2021 года. Компания «Яндекс» использует свои суперкомпьютеры для обучения нейросетевых моделей.
Результаты выполнения команд из микропроцессора Леонард Эйлер направляются в хост-систему для дальнейшего использования в ходе вычислительного процесса. Изображение: minobrnauki.
Его можно применять для анализа финансовых потоков в режиме реального времени, для хранения знаний в ИИ-системах, для моделирования биологических систем и в других прикладных задачах.
Россия сделала свой суперкомпьютер мощнее в 4,5 раза
Статья Суперкомпьютеры (рынок России), Российские суперкомпьютеры в рейтинге Top500 мира, 2024 Путин поручил нарастить мощность суперкомпьютеров в 10 раз На это нужны миллиарды рублей. В Новосибирске учёные разработали и запустили суперкомпьютер, который обладает впечатляющей вычислительной мощностью. Сейчас семь российских суперкомпьютеров входят в мировой рейтинг Топ500. Российский президент Владимир Путин сообщил, что необходимо не менее чем на порядок нарастить мощности суперкомпьютеров России. В России представили суперкомпьютер «Тераграф», построенный на уникальном отечественном микропроцессоре.
В России создан уникальный мобильный суперкомпьютер
Таким образом, новый суперкомпьютер должен стать третьим по мощности в России и войти в мировой топ-500, сообщает C-News. Президент РФ Владимир Путин поручил правительству разработать и реализовать комплекс мер, направленный на увеличение вычислительных мощностей суперкомпьютеров в России. «Сбер» представил новый суперкомпьютер для ускорения задач в области искусственного интеллекта. В ноябрьском рейтинге суперкомпьютеров лучший из российских занимает 79 место. В России появится очень быстрый суперкомпьютер – фотонный. Над ним работают ученые Научно-исследовательского центра супер ЭВМ и нейрокомпьютеров в Таганроге.