Экспонента. Как быстрое развитие технологий меняет бизнес, политику и общество
Шрифт:
Однако к началу 2010-х годов ситуация стала меняться. Внезапно появилось колоссальное количество данных, созданных обычными людьми, которые выкладывали фотографии своей жизни в интернет. Сначала эти данные не были особенно полезны для исследователей ИИ – пока за дело не взялась профессор Стэнфордского университета Фэй-Фэй Ли. Ли – ученый-информатик, она специализируется на пересечении нейробиологии и информатики, особенно интересуясь тем, как люди воспринимают объекты. В 2009 году, вдохновленная мыслью, что цифровое отображение как можно большего количества объектов реального мира позволит улучшить ИИ, Ли создала ImageNet – проект, который за пять лет сам по себе привел к взрывному
Одновременно с обильным потоком данных произошел взрыв вычислительной мощности. К 2010 году закон Мура привел к появлению мощности, достаточной для нового вида машинного обучения – «глубокого обучения», которое состоит в создании слоев искусственных нейронов по образцу клеток, лежащих в основе человеческого мозга. Эти нейронные сети уже давно провозглашались следующей важной составляющей искусственного интеллекта. Однако их разработка тормозилась недостатком вычислительной мощности. Теперь все изменилось. В 2012 году группа ведущих исследователей ИИ – Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон – разработала «глубокую свёрточную нейронную сеть», способную применить глубокое обучение к задачам классификации изображений, с которыми так долго не мог справиться ИИ. Это стало возможным благодаря необычайной вычислительной мощи. Нейронная сеть содержала 650 тысяч нейронов и 60 миллионов параметров, которые можно было использовать для настройки системы. Это изменило всю игру. До AlexNet, как назвали изобретение команды Крижевского, большинство ИИ, участвовавших в конкурсе ImageNet, все время спотыкались, и в течение многих лет результат составлял не более 74 %. AlexNet добился 87 %. Глубокое обучение работало.
Его триумф вызвал бешеный рост интереса к тому, чем занимать искусственный интеллект. Ученые бросились создавать системы ИИ, применяя глубокие нейронные сети и их производные для решения огромного количества задач – от поисков производственных дефектов до перевода с языка на язык, от распознавания голоса до выявления мошенничеств с кредитными картами, от создания новых лекарств до рекомендаций видеофильмов, отвечающих вкусам конкретного зрителя. Инвесторы охотно открывали карманы для поддержки этих изобретателей. В кратчайшие сроки глубокое обучение проникло повсюду. В результате нейронные сети требовали все большего объема данных и все большей вычислительной мощности. В 2020 году нейронная сеть GPT-3, которая использовалась для генерирования текста, порой неотличимого от созданного человеком, использовала 175 миллиардов параметров – примерно в три тысячи раз больше, чем у AlexNet.
Однако если новый подход к вычислениям – искусственный интеллект, то каковы необходимые ему мощности? С 2012 по 2018 год компьютерная мощность, используемая для обучения крупнейших моделей ИИ, росла примерно в шесть раз быстрее, чем темпы, о которых говорилось в законе Мура. На графике ниже показан рост вычислительных операций, используемых в современных системах ИИ, на фоне экспоненциальной кривой закона Мура за тот же период. Если бы использование вычислительных мощностей ИИ следовало кривой закона Мура, то за шесть лет оно бы выросло примерно в семь раз. На деле же оно увеличилось в триста тысяч раз [38] .
38
Dario Amodei and Danny Hernandez, “AI and Compute,” OpenAI, May 16, 2018. https://openai.com/blog/ai-and-compute/.
Рис. 4. Относительная вычислительная мощность, используемая ИИ, по сравнению с прогнозами закона Мура
Источник: Open AI, анализ для Exponential View
Ошеломляющая статистика. Ее можно объяснить именно тем процессом, который Рэй Курцвейл определил десятилетиями ранее. В тот самый момент, когда мы подбирались к пределам старого метода (размещения большего числа транзисторов на чип), ученые, опираясь на несколько иной подход, предложили новое решение.
Ответ кроется в типе используемых чипов. Исследователи ИИ, такие как Алекс Крижевский, заменили традиционные компьютерные чипы теми, что были разработаны для высококачественной графики для видеоигр. Использовать такие чипы для повседневных вычислений смысла не имеет, но они оказались удивительно пригодными для ИИ. В частности, они хороши в математике. Вычисления, необходимые для создания реалистичных сцен в видеоиграх, требовали множества умножений. Чтобы заставить сложную нейронную сеть работать, нужно было выполнить миллионы, а иногда и миллиарды таких умножений, и графические чипы справлялись с этой задачей.
Когда стало понятно, что рынок таких чипов расширяется, компьютерная индустрия приняла вызов. Разработчикам искусственного интеллекта требовалось больше мощности, и специализированные чипы позволяли этого добиваться. Калифорнийская компания Cerebras и британская Graphcore начали производить чипы, предназначенные для одной-единственной задачи – запускать нейронные сети на высоких скоростях.
Результатом стал продолжающийся экспоненциальный рост вычислительной мощности, только уже без оков закона Мура. Этот закон обусловлен миниатюризацией – как разместить все больше транзисторов на все меньшем пространстве. Но современные чипы ИИ не зависят от борьбы за нанометры. На самом деле некоторые из них состоят из гораздо более крупных компонентов. В традиционном процессоре типа того, который стоит в вашем ноутбуке, компоненты расположены на расстоянии около семи нанометров друг от друга, то есть примерно три тысячи таких компонентов можно разместить на площади среза, равной толщине человеческого волоса. Специализированные чипы ИИ от Graphcore размещены на расстоянии шестнадцати нанометров – около 1300 на аналогичную площадь.
Это означает, что в обозримом будущем вычислительная мощность, похоже, будет расти экспоненциально. А если вдруг наши новые виды чипов в итоге окажутся непригодными для удовлетворения растущих потребностей общества в вычислительной мощности, на очереди совершенно новый подход – «квантовые вычисления» [39]
39
Charles E. Leiserson et al., “There’s Plenty of Room at the Top: What Will Drive Computer Performance after Moore’s Law?” Science 368(6495), June 2020. https://doi.org/10.1126/science.aam9744.
Конец ознакомительного фрагмента.