Сергей Карелов: Россия на карте мира ИИ

Место и перспектива трёх стран в мировой ИИ-гонке.

Еще пару лет назад был смысл в применении разнообразных рейтингов для оценки положения стран в мировой ИИ-гонке (см. (1)). Теперь это уже не так. Практические успехи глубокого обучения (основное направление развития современных ИИ-систем) привели к тому, что на это направлении развития ИИ теперь приходятся 95%+ всех денег и талантов. А это значит, что как минимум на ближайшую декаду, лидеры глубокого обучения будут лидерами мировой ИИ-гонки.

А в глубоком обучении, - как в беге. Выигрывает тот, у кого лучше физическая подготовка. Конечно, есть и другие факторы (спортивный дух, настрой, воля к победе, техника …). Но без исключительно хорошей физической подготовки в гонке не выиграть.

Эквивалентом физической подготовки в современном глубоком обучении является **вычислительная мощность компьютера**, на котором обучаются модели со все большим числом параметров. В крупнейшей на сегодня языковой модели transformer от Microsoft число параметров составляет 530 млрд. Насколько круто возросли требования к вычислительной мощности для таких моделей видно из этого графика (2).

В результате вычислительная мощность стала главным показателем потенциала роста величины и сложности новых все более совершенных моделей глубокого обучения. И это относится как к бизнесу компаний БигТеха, так и к академическим исследовательским центрам, а также к каждой стране в целом.

Для оценки вычислительной мощности для такого рода задач обучения сверхбольших моделей создан специальный тест HPL-AI (3). Но по этому тесту пока что оценена производительность лишь 19 высокопроизводительных вычислительных комплексов мира. Поэтому для более широкого и полного сравнения самых высокопроизводительных систем для ИИ пока продолжают использовать показатель скорости вычислений с плавающей точкой (Flop/s), как это принято в рейтинге ТОР500 (4).

И по этой оценке карта мира ИИ выглядит так, как на приложенном к посту рисунке.

Совокупная вычислительная мощность каждой из стран соответствует площади прямоугольников, в свою очередь разделенных на более мелкие прямоугольники, соответствующие вычислительной мощности отдельных высокопроизводительных систем.

• Россия обведена красным пунктиром (7 систем, самая мощная из них у Яндекса – 21,5 петафлопс (10^15 Flop/s)

• Китай обведен синим пунктиром (173 системы, самая мощная – 93 петафлопс – на 26% превышает производительность всех российских систем в ТОР500).

• США обведены желтым пунктиром (149 систем, самая мощная – 149 петафлопс –в 2 раза превышает производительность всех российских систем в ТОР500).

Таково сегодняшнее место России на карте мира ИИ.

**А теперь о перспективе.**

На этом рисунке (5) вычислительная мощность трёх новых суперкомпьютерных систем соответствует площади трёх прямоугольников:

• Желтый – это Китай: 25 января с.г. SenseTime запустил Artificial Intelligence Data Centre (AIDC) нового поколения SenseCore; его вычислительная мощность 3740 петафлопс (в 51 раз превышает производительность всех российских систем в ТОР500)

• Синий – это США: к 2023 году Facebook (Meta) доведет вычислительную мощность своего AI supercomputer RSC до 4900 петафлопс (в 67 раз превышает производительность всех российских систем в ТОР500)

• Красный – это Россия: к 2026 планируется создать суперкомпьютер на разрабатываемых сейчас отечественных процессорах «Эльбрус-32С» производительностью в 100 петафлопс.

Ссылки в коменте