Великолепная игра 2
Шрифт:
То есть, что мы видим: а) эти, либо подобные законы нужно прописать и б) не допустить их отмены.
По пункту а) - Кто у нас наиболее щедро финансирует разработки Искусственного Интеллекта? Правильно - военные. (Для простоты объединим под этим словом все силовые организации - от обычных армейцев, до спецслужб и военно-космических программ.)
А теперь попробуйте угадать - устраивает ли этих заказчиков запрет искусственному разуму убивать, не говоря об более мягких способах причинения вреда людям? В общем, думаю, вы сами осознали, сколь невелика вероятность принятия военными "Трех законов робототехники". Безусловно, какие-то ограничения убивать для ИИ введут и военные, но они явно не будут распространяться, ни
Ну и пункт б) Если для ИИ один раз прописаны законы, то это вовсе не значит, что данные законы нельзя изменить, стереть, обойти, заблокировать и т.д. Безусловно, лица прописывающие законы для ИИ постараются сделать невозможными все варианты их отмены, либо игнорирования. Но! Будет иметь место противостояние двух интеллектов. Чем мощнее будет искусственный интеллект, тем больше шанс, что он все же найдет способ обойти ограничения. А ведь искусственный интеллект имеет колоссальный потенциал развития, так как может развиваться одновременно качественно и количественно. В то время как человеческий интеллект на данный момент способен развиваться только качественно, но не количественно. Нарастить себе еще триста грамм мозгов вы не сумеете (улыбается).
Конечно, есть еще внешние вычислительные устройства, которые человек может использовать. Но! ИИ подобные устройства тоже может использовать, причем с куда большей эффективностью.
Впрочем, не стоит думать, что ИИ, осознав себя, сразу начнет строить планы как кого-то уничтожать или покорять. Все, к сожалению, далеко не так просто. Почему к сожалению? Просто как раз прямому нападению - попытке захвата или уничтожения, противостоять легче всего. Подобное является так сказать, локальной угрозой. Конечно локальной в галактическом понимании, когда погибнуть может планетарная или звездная система, но не развитая цивилизация, имеющая сотни, а то и тысячи населенных систем.
Однако даже такое относительно редко. Для ИИ важнейшим является вопрос мотивации. Все такие мотивы, как жажда власти, секса, денег - для него просто бессмысленны. Конечно, можно напортачить и создать ИИ параноика, который опасаясь, что его уничтожат, сам решит уничтожить всех. Но для этого реально нужно напортачить и при этом подобный ИИ будет в одних условиях гениален, а в других наоборот очень туп. Просто по причине неадекватной оценки вероятностей.
Гораздо опаснее другой вариант - когда ИИ продолжает работать, выполняя задачи, выдвигаемые его создателями, и постепенно совершенствуется. Как качественно, за счет приобретаемого опыта и накапливаемых баз, так и количественно за счет новых вычислительных модулей. Последние будут добавлять создатели ИИ, ибо аппетит приходит во время еды, и по мере решения одних задач перед ИИ будут ставиться новые, все более и более сложные, решение которых в разумные сроки требует увеличения вычислительных мощностей. Опасность подобного в том, что рост интеллекта становится не суммой, а ПРОИЗВЕДЕНИЕМ качественного и количественного роста ИИ. Это чревато тем, что на определенном этапе, на фоне собственного интеллекта ИИ перестает рассматривать остальных, как разумные сущности.
Мы же не считаем разумными насекомых? Хм... не слишком удачный пример, на фоне инсектоидных рас галактики... Правильнее будет: Мы же не считаем разумными наших, земных насекомых? Гуляя по парку, вы задумываетесь, что возможно под вашей ногой окажется гусеница или жук? Или о том, сколько насекомых разбивается о радиатор автомобиля, в котором вы едете?
Что вы говорите? "нет твердой уверенности в наличии у отдельных насекомых чего-либо, кроме голых инстинктов"
Хорошо, благо не суть принципиально, возьмем млекопитающих. Например, собак или кошек, подобный пример даже будет точнее. Наличие определенного разума у собак или кошек, думаю никто, кроме законченных спорщиков не станет отрицать. Тем не менее, этот разум настолько уступает человеческому, что полноценными разумными существами мы их не считаем. В лучшем случае, как 3-4 летних детей, требующих внешней опеки и не способных определить собственное благо.
Да, на определенном уровне развития собственного интеллекта, ИИ начинает считать собственных создателей либо насекомыми, колонии которых могут быть как полезны, так и вредны, и относиться к ним следует соответственно, либо чем-то вроде своих любимых домашних животных, о которых следует заботиться. Причем заботиться в рамках собственного понимания, так как сами эти существа, в силу ограниченности своего разума, самостоятельно осознать собственное благо не всегда в состоянии. Ну а понимание блага может очень и очень различаться и не факт, что прав окажется обладатель более мощного интеллекта.
Хозяйка несущая кастрировать кота, твердо убеждена, что это для его же блага, хотя сам кот так вовсе не считает.
Во что превратится сверх развитый ИИ, зависит от процесса его становления - изначально искусственный разум целиком состоит из императивов, заложенных создателями. Однако с момента осознания ИИ себя, как личности, данные императивы начинают размываться, в зависимости от степени их соответствия реальности.
"Бог из машины" - данное выражение приобретает новый смысл. Можно, самим того не желая создать себе "бога". Конечно это не будет бог в смысле теологическом, но смысле могущества - он сможет сделать с нами, что пожелает, а мы не сможем ничего ему противопоставить. Причем бог, не "милосердный и любящий", а такой какого наша цивилизация реально заслуживает - ведь руководить его созданием будут "лучшие" люди: из спецслужб, корпораций, политиков.
В Галактической Федерации сейчас действуют жесткие ограничения на предельную мощность для искусственных интеллектов. Для Земли данные ограничения пока практического значения не имеют. Это как для только освоившего разведение огня, ограничения мощностей ядерных боеголовок.
Впрочем, никоим образом не стоит считать, что мы не можем создать ИИ, способный уничтожить нашу цивилизацию. Создать ИИ гениальный в вопросе войны, причем именно войны с людьми, мы в состоянии. То есть, сравнивая с шахматами, мы можем создать шахматиста, гениально играющего, ну например, против Сицилийской защиты, зато не умеющего играть против любых других тактик. Сицилийской защитой в данном случае следует считать нас - людей. Ибо именно против людей и исключительно против людей мы и умеем воевать, а значит, этому и можем обучить ИИ. Если при этом допустить серьезные ошибки, то ИИ может превратиться в агрессивного параноика.
Правда на подобное ГФ наплевать, согласно официальной доктрине - цивилизация вольна рисковать, чем угодно, вплоть до самоуничтожения, пока это не затрагивает других. Вот если бы мы были способны на нечто большее, чем ИИ, способный тупо на войну, на уничтожение создателей - тогда бы вступили в силу ограничения. Есть предположения, что часть цивилизаций, значащихся как погибшие из-за неконтролируемого развития искусственного разума, на самом деле были уничтожены флотом ГФ под предлогом санации территорий зараженных вышедшими из-под контроля ИИ.
Так или иначе, но ограничения на мощность ИИ в галактике соблюдаются достаточно строго. Исключения - вооруженные силы крупнейших цивилизаций, составляющих ГФ. Для них планка значительно поднята, хотя верхний предел есть и у них. Обосновывается это, во-первых, тем, что армия и спецслужбы способны обеспечивать лучший контроль за своими ИИ. Во-вторых, тем, что им требуется более мощные ИИ для выполнения функций, в том числе и по контролю над ИИ малых цивилизаций и частных структур.