Сингулярность
Шрифт:
Но с течением времени нельзя будет не обратить внимания на новые симптомы. Дилемма, ощущаемая авторами научной фантастики, станет существенной в других творческих работах. (Я слышал, что авторы комиксов беспокоятся о том, как создавать зрелищные эффекты, когда все видимое может быть воспроизведено обычными техническими средствами.) Мы увидим автоматизацию все более и более сложных работ и рабочих мест. Даже сейчас у нас есть инструменты (математические программы, автоматизация проектирования и производства), освобождающие нас почти от всей низкоуровневой рутины). Формулируя иначе: по-настоящему продуктивная работа становится сферой занятий все меньшей и все более элитной части человечества. В наступающей Сингулярности мы увидим, как наконец осуществляются предсказания истинной технологической безработицы.
Другой симптом приближения к Сингулярности: сами по себе идеи станут распространяться все быстрее, и даже самые радикальные из них быстро будут становиться трюизмами. Когда я писал свои первые книги, очень просто было предложить идею, которой для встраивания в культурное
А что можно сказать о наступлении самой Сингулярности? Что можно сказать о ее фактическом явлении? Поскольку она включает в себя взрыв интеллекта, то произойдет она, вероятно, быстрее, чем любая предыдущая техническая революция. Событие, которое вызовет лавину, почти наверняка будет неожиданным – возможно, даже для участвующих в процессе исследователей. («Но ведь все предыдущие модели были дико тормозными, мы лишь слегка подкрутили пару параметров…») Если к тому времени достаточно распространятся сети (став вездесущими встроенными системами), наблюдателю может показаться, что все созданные людьми предметы внезапно проснулись.
А что случится в течение пары месяцев (или пары дней) после этого? В моем распоряжении есть только аналогия, на которую я могу указать: возникновение человечества. Мы окажемся в постчеловеческой эпохе. И при всем моем безудержном технологическом оптимизме иногда я думаю, что мне спокойней было бы наблюдать эти переходные события с расстояния в тысячу лет… а не в двадцать.
Можно ли избежать Сингулярности?
Ну, может быть, ее вообще не будет. Иногда я пытаюсь представить себе симптомы, свидетельствующие, что Сингулярности не суждено возникнуть. Это широко признаваемые аргументы Пенроуза [18] и Серла [21] об отсутствии практического смысла в существовании машинного разума. В августе 1992 года корпорация Thinking Machines Corporation провела семинар по вопросу «Как мы будем строить машину, которая думает» (How We Will Build a Machine that Thinks). Как можно догадаться по названию семинара, участники не слишком поддерживали аргументы против машинного интеллекта. Общим мнением было то, что могут существовать разумы на небиологической основе и что для существования разумов основную роль играют алгоритмы. Однако шли серьезные споры насчет чисто аппаратной мощности, представленной в органических мозгах. Меньшинство считало, что крупнейшие компьютеры 1992 года отстают по мощности от человеческого мозга на три порядка. Большинство же участников соглашались с оценкой Моравеца [16], что до достижения аппаратного паритета нам остается где-то от десяти до сорока лет. Однако было еще одно меньшинство, указывавшее на [6], [20] и предполагавшее, что вычислительная мощность отдельных нейронов может быть существенно выше, чем это принято считать. Если так, то аппаратное обеспечение наших современных компьютеров может даже на десять порядков отставать от аппаратуры, которую мы носим под собственным черепом. В этом случае (или, кстати, если критика Пенроуза и Серла обоснована) Сингулярности нам просто никогда не видать. Более того, в начале нулевых мы увидим, что кривые роста производительности аппаратуры начинают постепенно снижаться – это будет вызвано нашей неспособностью к автоматизации сложного проектирования, необходимого для поддержания крутизны этих кривых. В конце концов у нас в руках окажется очень мощное аппаратное обеспечение, но усилить его мощность уже не получится. Коммерческая скорость обработки сигналов будет впечатляющей, придающей аналоговый вид даже цифровым операциям, но ничего нигде не «проснется» и не случится взрывного роста интеллекта, который и является сущностью Сингулярности. Это, вероятно, будет рассматриваться как золотой век… но будет также и концом прогресса. Очень похоже на будущее, предсказанное Гюнтером Стентом. Действительно, на странице 137 работы [24] Стент ясно говорит, что достаточным условием для опровержения его построений является развитие трансчеловеческого интеллекта.
Но если технологическая Сингулярность может случиться, то она случится. Даже если все правительства мира осознают эту «угрозу» и будут от нее в смертельном ужасе, продвижение к этой цели будет продолжаться. В художественной литературе есть рассказы о законах, принятых для запрета строительства «машины в виде ума человека» [12]. Но конкурентное преимущество (экономическое, военное, даже эстетическое) любого прогресса в автоматизации – настолько императивный фактор, что любые законы или обычаи, запрещающие подобные вещи, гарантируют лишь одно: это преимущество получит кто-то другой.
Эрик Дрекслер [7] изложил красочное видение того, насколько далеко могут завести технические улучшения. Он согласен, что сверхчеловеческие умы появятся в ближайшем будущем – и что такие сущности представляют собой угрозу теперешнему статус кво человечества. Но Дрекслер утверждает, что мы можем физически ограничить подобные сверхчеловеческие устройства или же ввести ограничивающие их правила, чтобы результаты их работы можно было изучать и безопасно применять. Получается все та же ультраинтеллектуальная машина И. Дж. Гуда, только с некоторыми предохранителями. Я возражаю, что такое ограничение внутренне противоречиво.
Другой подход к Дрекслеровым ограничениям – встроить в создаваемый сверхчеловеческий разум правила (законы Азимова). Я считаю, что правила работы, достаточно строгие для гарантии безопасности, заодно снизят возможности устройства по сравнению с его свободными версиями (а потому людская конкуренция будет склонять к разработке этих более опасных моделей). Все же мечта Азимова удивительна: представить себе полного энтузиазма раба, который в тысячу раз превосходит тебя по способностям в любой области. Представить себе создание, которое может удовлетворить любое твое безопасное (что бы это ни значило) желание, и при этом у него 99,9 % времени свободно для иной деятельности. Это была бы новая вселенная, недоступная нашему пониманию, но населенная благосклонными богами (хотя у меня наверняка возникло бы желание стать одним из них).
Если Сингулярность невозможно ни предотвратить, ни ограничить, то насколько неприятной может оказаться постчеловеческая эпоха? Ну… весьма. Одна из возможностей – физическое истребление человеческого рода. (Или, как это высказал о нанотехнологии Эрик Дрекслер: если учесть, на что эта технология способна, правительства наверняка придут к выводу, что граждане им больше не нужны.) Но физическое уничтожение – это еще, возможно, не самое страшное. Опять же аналогия: вспомним, как мы в различных смыслах связаны с животными. Некоторые грубые физические воздействия маловероятны, и все же… в постчеловеческом мире будет еще полно ниш, где потребуется автоматика, эквивалентная человеку: встроенные системы в автономных устройствах, осознающие себя роботы в низшей функциональности более крупных разумных образований. (Сильно сверхчеловеческий интеллект будет, вероятно, неким Сообществом Разума [15] с весьма разумными компонентами). Некоторые из этих человеческих эквивалентов могут быть использованы всего лишь для цифровой обработки сигналов, они будут более похожи на китов, нежели на людей. Другие могут быть вполне человекообразными, но односторонними, зацикленными на одной теме в такой степени, что в наше время они оказались бы в психбольнице. Хотя может быть, что эти создания не будут людьми из плоти и крови, они будут в новой среде ближайшим аналогом того, что мы называем сейчас человеком. (И. Дж. Гуду было что сказать по этому поводу, хотя сейчас совет этот может иметь лишь теоретическое значение. Гуд в [11] предложил «золотое метаправило», которое можно перефразировать так: «Обращайся с низшими так, как ты хотел бы, чтобы с тобой обращались высшие». Это чудесная парадоксальная идея (и большинство моих друзей в нее не верят), поскольку очень трудно сформулировать, что мы на этом выигрываем. Но если бы мы могли следовать этому правилу, то это что-то говорило бы о вероятности такого доброго отношения со стороны нашей вселенной.)
Я выше утверждал, что мы не можем предотвратить Сингулярность, что ее пришествие есть неизбежное следствие природной человеческой конкуренции и неотъемлемых возможностей техники. И все же инициаторы ее – мы. Даже самая огромная лавина возникает из-за маленького камешка. У нас есть свобода определения начальных условий, приводящих к тому, что события будут не столь враждебны, как в ином случае. Конечно (поскольку мы запускаем лавину), можно сомневаться в том, каким именно должен быть этот ведущий толчок.
Другие пути к Сингулярности: усиление интеллекта
Когда говорят о создании сверхчеловеческого разумного существа, обычно имеют в виду проект ИИ. Но, как я заметил в начале этой статьи, есть и другие пути к сверхчеловеческому. Компьютерные сети и взаимодействие человека с компьютером кажутся более обыденными, чем ИИ, но именно они могут повести к Сингулярности. Я называю этот контрастирующий подход Усилением Интеллекта (УИ). Это процесс, происходящий весьма естественно, и даже его суть в большинстве случаев остается незамеченной разработчиками. Но каждый раз, когда улучшается наша способность получать информацию и делиться ею с другими, мы в некотором смысле усиливаем наш естественный интеллект. Даже сейчас группа людей с докторской степенью и хорошими компьютерами (пусть и не подключенными к сети!) могла бы, вероятно, заработать максимальное число баллов в любом существующем письменном тесте на интеллект.