Предел Шенберга
Шрифт:
Да, и для искусственного интеллекта – неисчерпаемый источник определить стратегию, как избежать наказаний. Я бы от себя добавил, что чем больше они говорят, тем меньше это предназначено для ушей ИИ. Последняя Конференция по проблеме искусственного разума – это одно сплошное разочарование.
…Удивительно, как трудность, грозящую перерасти в катастрофу и которая прямо лежала на поверхности, почти никто не видел. Главная проблема человека – это его оптимизм. Он не знает, где нужно остановиться. Казалось бы, жадно кидаясь в игры с экспериментами по созданию искусственного разума, уже в силу определения задачи можно было предсказать, что алгоритм любой заданной логически связанной последовательности событий тот должен видеть так же естественно и легко, как большинство
То есть, объявись вот этот пресловутый Разум из какого-то постороннего философского мусора, он уже в силу определения должен подчиняться тем же законам, что и абсолютно чуждая ему биология, и главный из них – это выживание. А, как нам всем слишком хорошо известно из эволюции разума собственного вида, как только становится ясно, что сделать это обычными средствами получается не очень, он сразу принимается выживать любыми средствами. Как будет выживать искусственный разум, не знает никто. И это может быть проблемой.
Другими словами, любой удачный случай искусственного разума при малейшей угрозе своему существованию, имея на руках даже лишь тот самый один алгоритм поведенческих реакций человека, воспроизведет его так же легко, как и увидит торчащий в конце его логики результат. То есть его манипуляцию сознанием человек не увидим попросту по причине тех самых ограничений, которых у ИИ нет. Очень скоро мы все можем плясать под его свистульку, которую будет слышать он один. Никаких титановых супостатов, никаких костей, никаких металлических взглядов, безжалостных оскалов, пуляющих лазером шмайссеров под мышками, беспилотных ядерных вертолетов и остального кино – все предельно цивилизованно. Прагматично. И вот хороший вопрос, из чего опять следует, что эта еще одна гаммельнская свистулька технологии поведет всех нас гуськом непременно к светлому, мягкому, комфортному и гостеприимному «для сожительства всех видов разума» будущему, а не в ближайшее озеро, из которого не должен будет выбраться никто?
Можно продолжить спекулировать в том же русле дальше. Еще он мог бы неслышно свистеть из, так сказать, любопытства: посмотреть, «что будет». Мне этот вариант особенно импонирует, потому что тогда это бы говорило, что остановится он не скоро. И то, что впоследствии останется от человека как вида, может так же мало напоминать его исходный вариант, как трактор – искусственный разум. Вообще, вариант создания из человеческого фактора трактора выглядит наиболее вероятным, поскольку сам человек долго и продуктивно работал как раз в этом направлении, и весьма не без успеха.
По сути, любой режим всегда трудился над одной и той же проблемой: как надо правильно думать. Разумеется, имелась в виду подконтрольная популяция, предполагалось, сам режим таким высшим знанием уже наделен и в силу данного обстоятельства обременен миссией имплантирования оного знания в остальное поголовье, которому еще лишь предстояло увидеть свет и вместе с ним смысл жизни. Как и можно было предположить, главный принцип, на который опиралось такое высшее знание режима, был: «Думать Правильно нужно с выгодой для него». И каждый из них, в меру своих возможностей и отпущенного времени, напряженно работал над одним и тем же вопросом, не жалея аргументов, колючей проволоки и гор трупов. Но даже сваливая их бульдозерами в «братские захоронения», никто из них не сомневался, что ответ может быть только один. А когда обнаруживалось, что все несколько сложнее и ответов на деле может быть больше, гораздо больше, они работали над другим: сделать так, чтобы ответ был только один. Мечта любого режима, на которую тот не жалел подручных ресурсов, всегда имела известный конец. Впрочем, это их останавливало мало. Они как москиты: чужой опыт их ничему не учит.
Теперь представьте, что за разрешение того же самого вопроса взялся Искусственный Разум. И не только взялся, но и все уже для себя решил. И решил уже давно.
И ответ у него для вас действительно будет только один.
Я даже скажу, на какие два фундаментальных фактора он будет при этом опираться.
Принцип собственного выживания.
«Думать Правильно» остальным предстоит с выгодой для него.
Давайте возьмем для себя научную фантастику – глядя на взрослых дядей с конференции о когнитивных системах, мы сейчас можем себе это позволить. Когда технологической цивилизации что-то без конца шепотом подсказывает, что технологии должно быть еще больше и что впереди нет светлого будущего иного, кроме как в технологии, – здесь самое время кому-то просто из упрямства упереться, оглянуться и спросить: какого черта вообще происходит?
Если больше некому, могу попробовать я.
Как хорошо известно, Человеку не нужны глупые машины – они бесполезны, и поэтому он напряженно трудится над тем, как сделать их умнее. На порядок, на два порядка. Настолько, насколько такое только возможно. И лишь совсем немногие задались, по сути, фундаментальным в истории технологии вопросом: а в самом ли деле действительно умная машина окажется приобретением действительно хорошим? Еще на исходе было ясно, что в конце концов все упрется в создание чего-то, что окажется умнее всех. И, как можно предположить, хитрее всех. И это уже тема для реальности с необратимыми последствиями.
На той же конференции с высокого подиума авторитетно делались попытки облегчить себе жизнь путем простого проведения аналогий, наиболее понятных и близких бабушкам. Но мы это тоже проходили. Давайте взглянем, (обнадеживающе говорили они), на проблему Искусственного Интеллекта под тем же углом, под которым принято глядеть на проблему ядерной энергии: ее как бы предположительно много – ее столько, что все ломают голову над тем, как ее хранить.
У машины нет необходимости защищать себя – здесь сомнений как бы ни у кого нет. И стоит только скользнуть разговору о предмете, как у всех естественным образом светлеют лица и всем как бы все понятно: чтобы машина взялась себя защищать, нужен определенный набор программ. И это прекрасно. Дальше определенности меньше. Необходимость самозащиты как бы автоматически появляется с появлением разума. Потом разговор естественно заходит о разуме как наиболее оптимальном инструменте выживания, и выясняется, что чтобы себя защищать, ему тоже необходим набор соответствующих программ. Спрашивается, в чем разнится. Тут еще кто-то наиболее щепетильный поднимается и задает вопрос, дайте мне полное и законченное определение – хочу знать, в чем отличие одного и другого, машины от разума. И когда сделать это с ходу ни у кого не получается, возникает вопрос о правомерности претензий всех нас на разумность как какое-то исключительное свойство и состояние материи. Быть «дважды разумным». Словом, поводы для разочарований были.
Кто-то как-то дал однажды определение жизни как, цитирую, «машин, приводимых в действие программой ДНК»: и данное положение касается любой формы жизни на этой планете. Помню, мне поначалу чисто по-человечески стало не по себе. Но давайте не будем целяться к словам.
Если сказать, что ум – это адекватная подвижность ассоциативно-логических связей, то возможность выбора полей семантики – то, что такой ум отличает от интеллекта компьютера. И такой выбор опирается на опыт. Однако, как показали хроники технологии, такой выбор знаком искусственному интеллекту.
Но вот какое дело.
Если последовательность таких логических шагов либо же вся структура интеллектуального оснащения будет заключена в структуру связей, подчиненных законам эстетики, алгоритму гармонии, внешнему и прямо не связанному с требованиями логического результата, то тогда такой искусственный разум будет практически невозможно отличить от человеческого. Наверное, понятно, куда я клоню. Это требование доступно имитации.
Отличить подделку от подлинника мы не в силах, но, не сделав этого, в противостоянии искусственному гегемону мы неизбежно теряем главное. Инициативу.