Стеклянная клетка. Автоматизация и мы

Карр Николас Дж.

Тем не менее такие алгоритмы придется – волей-неволей – писать. Мысль о том, что человек сумеет вычислить наиболее достойные выходы из моральных тупиков, может показаться упрощенной или даже отталкивающей, но роботам и программам придется просчитывать способы решения моральных проблем. До тех пор пока искусственный интеллект не обретет некоего подобия сознания и не будет способен чувствовать или хотя бы имитировать такие эмоции, как привязанность или жалость, никаких перспектив у наших электронных родственников не будет. Люди могут сколько угодно горевать о том, что предоставили автоматам возможность принимать морально значимые решения до того, как научили их нравственности, но власть выработанных тысячелетиями этических норм остается доминантой. Если выпустить машины в самостоятельное плавание, то придется перевести моральные коды в коды компьютерных программ.

Вот другой сценарий. Представим себе батальон, составленный из людей и солдат-роботов. В составе батальона

есть взвод «компьютерных снайперов», занявших позиции на перекрестках и крышах домов города, который батальон защищает от нападения партизан. Один из роботов берет на лазерный прицел человека в гражданской одежде, держащего в руке мобильный телефон. Человек ведет себя – с точки зрения военного опыта – достаточно подозрительно. Робот, оценив текущую ситуацию и просмотрев базу данных о поведении террористов в таких случаях, мгновенно подсчитывает, что 68 % вероятность того, что это террорист, готовый привести в действие взрыватель бомбы, и 32 % – что это мирный житель, не замышляющий ничего дурного. В этот момент на улицу въезжает бронетранспортер с взводом солдат. Если человек готов взорвать бомбу, то рвануть может в любой момент. Война не имеет кнопки «пауза». Здесь нет места человеческим рассуждениям. Робот должен действовать. Что прикажет программа его винтовке: стрелять или не стрелять?

Если гражданские люди еще могут рассуждать об этических следствиях внедрения самоуправляющихся автомобилей и других самостоятельных роботов, то у военных нет времени на такие размышления. В течение многих лет Министерство обороны и военные академии изучают методы и последствия наделения боевых машин правом принимать решения о жизни и смерти. Ракеты и бомбы, сбрасываемые с беспилотных самолетов, давно уже никого не удивляют, хотя и стали предметом ожесточенных дебатов. У обеих сторон есть веские аргументы. Сторонники наделения машин таким правом утверждают, что беспилотники позволяют уменьшить потери в живой силе, а точность ударов сокращает масштабы разрушений и жертв по сравнению с традиционными способами ведения боевых действий. Противники считают такое бомбометание санкционированным государством массовым убийством. Они утверждают, что ракеты и бомбы часто убивают и ранят мирных жителей. Правда, надо сказать, что такие ракетные удары не являются автоматизированными, они просто подчиняются дистанционному управлению. Самолеты летят самостоятельно и сканируют местность, над которой пролетают, но решение о нанесении удара принимают военнослужащие, сидящие перед мониторами и выполняющие приказы командиров. В их понимании современные беспилотные самолеты-ракетоносцы ничем не отличаются от крылатых ракет и другого вооружения. На гашетку и спусковой крючок нажимают все же люди, а не машины.

Радикальные изменения наступят, когда компьютер начнет нажимать на кнопку. Полностью автоматизированная, управляемая компьютером убивающая машина – то, что военные называют смертоносными автономными роботами. С технической точки зрения сегодня они вполне возможны, и создать их не представляет никакого труда. Уже сейчас с самолетов можно с большим разрешением сканировать поле боя и выявлять возможные цели. Механизмы автоматической стрельбы тоже существуют. Нетрудно написать программы для выполнения орудийного выстрела или пуска ракеты. Для компьютера решение о пуске не отличается от решения продать акцию или отправить полученное письмо в папку «спам». Алгоритм есть алгоритм.

В 2013 году Кристоф Хейнс, южноафриканский правовед, работающий над темой внесудебных решений, издал доклад о статусе и перспективах развития военных роботов [4]. От чтения этого сухого бесстрастного доклада по спине бегут мурашки: «Правительства, способные выпускать смертоносные автономные роботы, – писал Хейнс, – утверждают, что в настоящее время не рассматривается вопрос об их применении в вооруженных конфликтах или в каких-либо иных ситуациях. Однако история вооружений, – продолжает он, – позволяет предположить, что людям не следует слишком серьезно относиться к таким прогнозам. Надо помнить, что аэропланы и беспилотные самолеты поначалу использовались в вооруженных конфликтах только для разведки, а их боевое применение исключалось ввиду возможных негативных последствий. Опыт, однако, подтверждает, что, когда технология позволяет получить преимущество перед противником, подобные рассуждения просто отбрасываются в сторону. Как только появляется новый тип оружия, немедленно начинается гонка вооружений. В этой ситуации сила соблюдения собственных интересов может свести на нет всякие усилия по контролю над вооружением и его боевым применением».

Война гораздо в большей степени подчиняется шаблонам, чем гражданская жизнь. Есть определенные правила ведения боевых действий, иерархия командования и четко определенные стороны конфликта. Убийство не только не порицается, но и поощряется. Но даже на войне программирование морально значимых задач поднимает проблемы, которые не могут быть решены без предварительного урегулирования некоторых моральных аспектов. В 2008 году командование ВМС США поручило группе по этике и новым наукам Университета штата Калифорния подготовить доклад по этическим проблемам, возникающим в связи с возможным применением смертоносных автоматизированных машин, и выработать

предложения по созданию «этически запрограммированных роботов» для военных целей. Специалисты по этике доложили, что существует, в принципе, два способа программирования морально обоснованных компьютерных решений: сверху вниз и снизу вверх. В первом случае все правила, программирующие решения робота, создаются заранее, и машина просто им следует «без изменений или гибкости». Невозможно предвидеть все ситуации, в которых может оказаться робот. «Ригидность программирования сверху вниз может привести к неприятным последствиям, – написали ученые, – когда события или ситуации, не предусмотренные или недостаточно проработанные программистами, заставляют робота поступать неверно или просто совершать ужасные вещи именно потому, что он жестко следует заданным правилам» [5].

При подходе «снизу вверх» робота программируют, задавая ему несколько элементарных правил, и отпускают в свободное плавание. Робот использует обучающую технику для создания собственного морального кода, приспосабливая его к новым ситуациям по мере их возникновения. Подобно ребенку, робот попадает в самые разнообразные положения и учится справляться с ними методом проб и ошибок (за счет обратных связей), самостоятельно выясняя, что можно делать, а чего нельзя. Чем с большим числом проблем робот сталкивается, тем тоньше становятся его моральные суждения. Однако такой способ программирования чреват еще более серьезными проблемами, чем первый. Во-первых, он неосуществим на практике, пока не изобретены обучающие машинные алгоритмы – достаточно тонкие и жесткие для принятия морально обоснованных решений. Во-вторых, в боевых ситуациях нет места для проб и ошибок – такой подход уже сам по себе аморален. В-третьих, нет никаких гарантий того, что моральные ориентиры, выработанные компьютером, будет совпадать с человеческими. Выпущенный на поле боя робот-пулеметчик с набором обучающих алгоритмов может натворить страшных дел.

Специалисты по этике особо подчеркнули, что люди при принятии морально значимых решений используют «гибрид» двух подходов – сверху вниз и снизу вверх. Человек живет в обществе, управляемом законами и другими ограничениями, которые направляют и контролируют его поведение. Многие люди принимают решения в согласии со своими религиозными и культурными убеждениями. Совесть тоже диктует свои правила, будь она врожденной или благоприобретенной в процессе воспитания. Большую роль играет жизненный опыт. Люди учатся быть нравственными существами по мере роста и взросления, сталкиваясь с необходимостью принимать этически оправданные решения в разнообразных ситуациях. Человек далеко не совершен, его нравственные устои проходят испытание при столкновении с проблемами, с которыми он раньше никогда не встречался. Единственный способ для роботов стать нравственными – это последовать нашему примеру и принять гибридный подход, то есть одновременно подчиняться правилам и учиться на собственном опыте. Но создание такой машины на данном уровне развития технологии невозможно. «В конечном итоге, – заключают специалисты по этике, – люди, возможно, смогут построить нравственных роботов, способных снизу вверх вырабатывать гибкую мораль, воспринимать и обрабатывать самые разнообразные вещи и сравнивать принятые решения с правилами, предписанными подходом сверху вниз». Но для этого надо понять, как программировать компьютеры, чтобы они могли обладать эмоциями, социальными навыками, сознанием и «чувством сопричастности миру» [6]. Другими словами, людям придется стать богами.

Едва ли армия будет так долго ждать. В статье, опубликованной в журнале военного колледжа армии США Parameters, Томас Адамс, военный стратег и подполковник в отставке, утверждает: «Логика, ведущая к созданию полностью автономных систем, неумолима. Благодаря скорости, размерам и чувствительности военных роботов война начинает предъявлять требования, превосходящие способность человека адекватно реагировать на них». Скоро наступит время, когда обычному человеку станет слишком сложно разобраться с новой техникой. «Люди становятся самым слабым звеном военной системы, – говорит Адамс, повторяя утверждения ориентированных на технологию гражданских создателей программного обеспечения, – и сохранение способности к контролю над ситуацией на поле боя становится в современных условиях почти невозможным. …Проблема заключается в том, что обязательно найдутся противники, которые решат, что нанести поражение ориентированным на человека системам можно только с помощью систем, ориентированных на технологию». В конце своей статьи Адамс выражает уверенность: «Наступит такой момент, когда военные действия на тактическом уровне станут уделом машин, а не людей» [7].

Предотвратить применение автономных роботов-убийц едва ли удастся не только по причине их высокой тактической эффективности. Их использование имеет много этических преимуществ. В отличие от живых солдат, роботы не будут подвержены действию инстинктов в горячке и суматохе боя, они не способны испытывать страх, и у них нет крови, в которой может бушевать адреналин. «Главное, – писал Хейнс, – они не будут действовать из мести, не поддадутся панике, гневу, злобе, предрассудкам или страху. Более того, если их специально на это не запрограммировать, машины не станут преднамеренно причинять страдания гражданскому населению, применять насилие и пытки» [8].