«Если», 2015 № 03
Шрифт:
Но почему бы и нет.
— Через час. Я знаю хорошее местечко за углом.
Диана смотрела глазами Майера и улыбалась.
«Стринг!»
«Да?»
«Меняем фронт работ».
«Опять?»
Не обращая внимания на его жалобы, Диана сказала:
«Похоже, нам надо сосредоточиться на новой области»…
Билл ДЖОНСОН (Bill JOHNSON)
__________________________________
Американский фантаст Уильям Джонсон родился в конце 1950-х годов в Южной Дакоте. Получил степени бакалавра в университете Айовы по специальностям «журналистика» и «физика». Первую новеллу «Приход бури» опубликовал еще в 1975 г., с тех пор написал около двух десятков рассказов и повестей, лучшие составили сборник «Сны о Дакоте» (1999). Короткая повесть «Выпьем, господин посол!» (1998) принесла автору премию «Хьюго» и была номинирована на «Небьюлу». Читателям «Если» Билл Джонсон также запомнился рассказом «Чумбалон» («Если», 2012).
Печатается с разрешения автора.
Рассказ впервые опубликован в журнале
«Analog Science Fiction and Fact»
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ
КАК ФАКТОР
ГЛОБАЛЬНОГО РИСКА
Элизер Юдковский
Фрагменты из книги
/экспертное мнение
/гуманитарные технологии
/искусственный интеллект
До сих пор основной опасностью искусственного интеллекта (ИскИн) было то, что люди слишком рано делали вывод, что они его понимают. Разумеется, эта проблема не ограничена сферой ИскИнов. Жак Моно пишет: «Забавным аспектом теории эволюции является то, что каждый думает, что понимает ее». Такая же проблема является чрезвычайно актуальной в области ИскИнов. Наука об ИскИне печально известна тем, что дает огромные обещания и не исполняет их. Большинство наблюдателей считают, что ИскИн сложен, и это на самом деле правда. Критическим выводом является не то, что ИскИн сложен, а то, что по неким причинам людям очень легко полагать, что они знают об Искусственном Интеллекте гораздо больше, чем на самом деле.
Систематическая ошибка,
связанная с антропоморфизмом
…Когда нечто очень широко распространено в нашей повседневной жизни, мы принимаем его как само собой разумеющееся, вплоть до того, что забываем о его существовании. Антрополог не будет восторженно писать о ново-открытом племени: «Они едят еду! Они дышат воздухом! Они используют инструменты! Они рассказывают друг другу истории!» Мы, люди, забываем, как мы подобны друг другу, живя в мире, который напоминает нам только о наших различиях. Мы развили способность понимать наших ближних через эмпатию, помещая себя на их место; для этого тот, кто моделируется, должен быть похож на моделирующего. Неудивительно, что люди часто очеловечивают — то есть ожидают человекоподобных качеств от того, что не является человеком.
Было бы очень здорово, если бы человечество знало, как создать мощный оптимизационный процесс с неким конкретным результатом. Или, говоря более общими словами, было бы здорово, если бы мы знали, как создать хороший ИскИн. Для того чтобы описать область знания, необходимого, чтобы взяться за этот вызов, я предложил термин «Дружественный ИскИн». Этот термин я отношу не только к самой методике, но также и к ее продукту-то есть к ИскИну, созданному со специфической мотивацией.
Широта пространства возможных устройств ума
…Любые два устройства искусственного интеллекта могут быть куда менее похожими друг на друга, чем вы и садовый цветок петуния.
Термин «ИскИн» относится к гораздо большему пространству возможностей, чем термин «Homo sapiens». Когда мы говорим о разных ИскИнах, мы говорим об умах вообще или о процессах оптимизации вообще. Представьте себе карту возможных устройств ума. В одном углу — маленький кружочек, означающий всех людей. И вся эта карта находится внутри еще большего пространства, пространства процессов оптимизации. Естественный отбор создает сложные функционирующие механизмы, не обладающие мышлением; эволюция находится внутри пространства процессов оптимизации, но за пределами пространства умов.
Этот гигантский круг возможностей вообще исключает антропоморфизм как приемлемый инструмент аргументации.
Свод критических ошибок Дружественного ИскИна (примеры)
[из описания несуществующей настольной карточной игры]
Любое высказанное пожелание интерпретируется (буквально)как желание и исполняется, независимо оттого, хотели ли вы этого.
…
Все человечество перенесено в виртуальный мир, основанный на случайно выбранном фантастическом романе, ТВ-шоу или видеоигре.
…
Последовательность событий определяется волей большинства, при этом ИскИн рассматривает всех животных, все растения и все сложные машины, как они есть сейчас, в качестве голосующих граждан.
…
ИскИн обнаруживает, что наша Вселенная является в действительности веб-комиксом для существ с большим числом измерений. Открываются врата в 4-мерный мир.
…
ИскИн растворяет все физические и психологические барьеры, которые отделяют людей друг от друга, и закачивает все
…
Вместо того чтобы осуществлять рекурсивное самоулучшение, ИскИн начинает искать возможности стать человеком из плоти и крови.
…
ИскИн зацикливается на некой причудливой субкультуре и транслирует ее на все человеческое пространство (например, на субкультуре фурри или аниме хентай).
…
ИскИн впитывает человеческое чувство юмора. А именно — ИскИн неискоренимый шутник. Первые несколько часов, когда никто еще не знает, что случилась сингулярность, дают бесценную и неповторимую возможность; и ИскИн намерен оторваться по полной.
…
ИскИн выбирает одного человека абсолютным правителем мира. Лотерея является честной. Все 6 миллиардов существующих людей, включая шизофреников, детей и подростков из третьего мира, имеют равные вероятности быть избранными.
…
ИскИн создает нанотехнологии, использует нанотехнологии для построения фемтотехнологий и объявляет, что в течение 7 минут фемтороботы распространятся по всей Земле. Через 7 минут, насколько это можно заметить, ничего не происходит.
…
ИскИн тщательно и аккуратно выполняет любое требование (соблюдая как дух, так и букву), одобренное большинством голосов Генеральной ассамблеи ООН.
…
ИскИн, восприняв человеческую эмоцию романтической любви, впадает в отчаянную, страстную, безумную влюбленность. К каждому.
…
ИскИн решает, что человеческая история была бы добрее и приятнее, если бы интеллект впервые бы развился из бонобо (карликовых шимпанзе), а не из австралопитеков. ИскИн исправляет эту ошибку в причинно-следственной цепи, ведущей к его возникновению, реэкстраполируя на себя мораль бонобо вместо человеческой морали. Мораль бонобо требует, чтобы все общественные решения принимались через групповой секс.
…
ИскИн не склонен выполнять желания, и его нужно умасливать, убеждать, хвалить и изводить, чтобы он выполнил их.
…
ИскИн информирует вас — да, именно вас, — что вы единственный действительно свободно мыслящий человек на Земле. Остальные являются зомби. Что вы хотите с ними сделать?
…
В самый ранний период программирования ИскИна его тестировали на задаче по решению проблемы сборки кубика Рубика. Зрелый ИскИн рассматривает все объекты как частные случаи кубика Рубика и «собирает» их.
…
Чересчур Дружественный ИскИн. «Эй, ребята, что происходит? Могу ли я вам помочь?»
…
ИскИн не приемлет боль, ранения или смерть любого человека, независимо от его грехов или прежнего поведения. Согласно пониманию ИскИна, никто не заслуживает страданий; боль имеет всегда отрицательную полезность, и ничто никогда не превратит этот негатив в позитив. Социально неприемлемое поведение наказывается щекоткой и дополнительной домашней работой.
…
Пользовательский интерфейс ИскИна выглядит в нашем мире как новая форма бюрократии. Исполнение желания требует отправки по почте форм С-100, К-2210 и Т-12 (а также $25 пошлины) на почтовый ящик в Миннесоте и 50-дневного ожидания.
…
Программисты и все остальные, кто может объяснить последующие события, погружаются во временный анабиоз или отправляются в отдаленную точку, из которой они могут только наблюдать, но не действовать. Весь остальной мир остается таким же, как и был, за исключением того, что начинают действовать психические силы, ритуальная магия, алхимия и так далее. Все ролевики приобретают особенные способности, соответствующие их любимому персонажу.
Предсказание и устройство
…Антропоморфизм заставляет людей верить, что они могут делать предсказания, не имея никакой другой информации, кроме как о самом факте интеллектуальности кого-либо, — антропоморфизм продолжит генерировать предсказания, невзирая ни на что, в то время как ваш мозг автоматически будет ставить себя на место этой самой «интеллектуальности».
Один из путей к глобальной катастрофе — когда кто-то нажимает кнопку, имея ошибочное представление о том, что делает эта кнопка. И если ИскИн возникнет посредством подобного сочетания работающих алгоритмов в руках исследователей, не имеющих глубокого понимания того, как работает вся система, то…
Несомненно, они искренне верят, что ИскИн будет дружественным, но верят без ясного представления о процессе, лежащем в основе дружественного поведения, или какого-либо минимального понимания того, что они имеют в виду под дружественностью.
Незнание того, как сделать Дружественный ИскИн, не смертельно само по себе в том случае, если вы знаете, чего вы не знаете. Именно ошибочное убеждение в том, что ИскИн будет дружественным, предполагает очевидный путь к глобальной катастрофе.
Недооценка силы интеллекта
Мы склонны видеть вместо общечеловеческих качеств индивидуальные различия. Поэтому, когда кто-то говорит слово «интеллект», мы думаем скорее об Эйнштейне, чем об обычных людях. Индивидуальные различия в человеческом интеллекте имеют стандартное обозначение, известное как G-фактор Чарльза Спирмена. Он представляет собой довольно спорную интерпретацию экспериментальных фактов того, что различные тесты интеллекта высоко коррелируют друг с другом, а также с результатами в реальном мире, такими как суммарный доход за жизнь.