Роботы-убийцы против человечества. Киберапокалипсис сегодня

Ларина Елена

Представляется, что определение, базирующееся на здравом смысле и опирающееся на анализ распределения участия человека и автомата в решениях и действиях на разных фазах боевого цикла – от обнаружения цели до ее поражения, позволяет уйти от «мутных тем» искусственного интеллекта, человеко-машинного разума и свободы воли роботов. Оставим их писателям-фантастам, философам, психологам и т. п., а вместо этого сосредоточимся на конкретной работе, связанной с автономным оружием.

Выводы

Стремительное развитие информационных технологий означает, что возможности, сегодня кажущиеся труднореализуемыми, либо невероятными, завтра станут обыденностью и будут воплощены в конкретных системах, аппаратах,

решениях и механизмах. Мы не думаем, что процесс развития информационных технологий является полностью управляемым. Более того, мы не думаем, что можно даже, понимая ту или иную опасность, остановить динамику. Например, всем понятны опасности, связанные с постоянно повышающейся автономностью в сочетании с ростом интеллектуальности вооружений. На эту тему очень много рассуждают различного рода активисты и политики. Они, вероятно, правы в своих опасениях. Но эта правота ничего не меняет. Каждая из потенциально враждебных сторон будет резонно полагать, что противоположная сторона стремится обеспечить свое преимуществ. Соответственно она не будет верить, что противоположная сторона займет сдержанную позицию по отношению к автономии интеллектуальных систем оружия. В итоге гонка в автономии, интеллектуальности и живучести вооружений неостановима до тех пор, пока будут иметься хотя бы две не доверяющие друг другу стороны.

Этот материал нацелен на выработку общего понимания автономии. Слишком часто в прошлом те или иные политические и административные решения принимались в нашей стране, за рубежом и в международном масштабе без понимания сути дела. Отдавая отчет в долговременной тенденции повышения автономности роботизированных систем, в том числе в военном деле, мы, с учетом этой тенденции и должны принимать различного рода законодательные и административные акты, формировать бюджет. Если они не будут соответствовать тенденции, при всех благих намерениях они не будут выполняться.

Видя опасность повышения автономности, интеллектуальности и живучести систем вооружений, мы должны отдавать себе отчет, что эти тенденции имеют и свою положительную сторону. Например, они позволяют резко снизить потери в вооруженных силах Соединенных Штатов, позволяют при использовании высокоточного оружия на порядки уменьшить жертвы среди гражданского населения в зонах вооруженных столкновений и конфликтов.

Общей тенденцией эволюции систем вооружений в будущем будет их нарастающая автономия, все более активный переход от полуавтономных БАРС и АРС различных типов к автономным системам и полностью автономным системам в формальном смысле. Целесообразно, прежде всего, отработать автономные системы, не несущие на себе летального оружия, а связанные с разведкой, транспортировкой, логистикой и применением нелетального оружия. Наработав опыт в этой сфере и приучив к такого рода системам общественное мнение, а главное, сделав их привычными для солдат и офицеров, можно переходить к следующей стадии – к БАРСам.

Мы полагаем, что в ближайшем будущем на вооружении США и их союзников и партнеров будут находиться в основном полуавтономные, а также небоевые АРС. Что касается врагов и противников Америки, то в ближайшем будущем их технологические возможности вряд ли позволят создать эффективные БАРС. Однако такой риск тем не менее сохраняется вследствие исчезновения барьеров между гражданским и военным секторами технологий, бизнеса и т. п. Поскольку враги, в том числе, негосударственные акторы, потенциально могут купить, получить или создать БАРС, уже сегодня Соединенные Штаты, их союзники и партнеры должны заранее сосредоточить усилия на создании БАРС, действующих исключительно против БАРСов противника.

Сосредоточившись на теме автономии вооружений, важно не забывать и о других характеристиках. Эти характеристики в определенных условиях могут быть не менее, а даже более важными, чем автономность.

Например, статическая система автономного оружия, расположенная вдоль границы страны, будет гораздо более уязвима, чем автономная мобильная система.

Хорошо известно, что в годы Холодной войны самым страшным оружием Советов были неуловимые поезда, несущие на себе стратегические ракеты, запускаемые непосредственно с колесных платформ. В отличие от легко обнаруживаемых стратегических сил США, расположенных либо в шахтах, либо на подводных лодках, Соединенные Штаты до последних дней существования СССР не знали, где и когда может быть нанесен удар этими подвижными железнодорожными монстрами, не распознававшимися со спутников, для которых они выглядели также, как составы с песком или коровами.

Точно так же, как динамичность, огромное значение может иметь и среда использования автономного оружия. Например, автономные боевые системы, рассчитанные на поражение в подводной среде, как правило, на порядок дешевле подобных систем для сухопутной и даже воздушной среды. Дело в том, что для сухопутной и воздушной сред больших затрат требует создание средств тонкого распознавания с тем, чтобы по ошибке или необоснованно не атаковать мирную цель и не нанести потери гражданскому населению. В случае подводного оружия такой задачи нет.

Наконец, ключевым параметром является поражающая мощь. Даже школьнику понятно, что риски использования автономного роботизированного бомбардировщика с атомными крылатыми ракетами на борту на тысячи порядков выше, чем риск применения самонаводящегося, полностью роботизированного пулемета. Соответственно автономия должна рассматриваться вместе с другими важнейшими характеристиками оружия. Только комплексное рассмотрение позволит профессионально говорить о возможностях и рисках.

В настоящее время 30 стран используют в своих вооруженных силах автономные и полуавтономные системы. Во всех этих системах на сегодняшний день человек находится в «петле управления», выполняя, по крайней мере, функцию контролера. Кроме того, пока автономные военные системы используются в основном для разведки, транспортировки и логистики, а также позиционной обороны. Даже в случаях логистики и транспортировки, в основном эти системы применяются для перемещения и складирования грузов, боеприпасов и т. п., а не людей. Возможно, самым главным является тот факт, что во всех 30 странах пока люди не только выполняют функции контролера, но и во всех случаях имеют возможность вручную отключить систему в случае сбоя и т. п.

Однако принимая во внимание ускоряющиеся темпы развития систем робототехники, информационных и когнитивных технологий, возрастающую международную напряженность и неустойчивость мировой динамики, с высокой степенью вероятности можно прогнозировать, что будущее не будет линейным продолжением прошлого. Уже в ближайшем будущем кто-то из государственных или негосударственных акторов неизбежно перейдет зыбкую границу между автономными системами (с человеком-контролером и ликвидатором) и автономными системами в формальном смысле (без человека-контролера и ликвидатора, где человек выполняет только функцию активатора оружия). Более того, нельзя быть уверенным, что эта зыбкая граница уже кем-то где-то и когда-то не перейдена.

Бесспорно, необходимо вести публичные и закрытые дискуссии среди военных профессионалов, ученых, инженеров, юристов, специалистов по этике и активистов. Однако при ведении подобных дискуссий не надо обольщаться и считать, что их выводы и итоги могут что-либо изменить в контексте динамики автономии, интеллектуальности и живучести роботизированных и иных автоматических систем как в гражданской, так и особенно в военной сферах. Эти дискуссии важны для понимания, но совершенно бессмысленны, как способ ограничения развития. В нашем разделенном мире никакое соглашение относительно ограничений технического прогресса не будет выполняться. Всегда найдется тот, кто в силу обстоятельств, умысла или по любознательности нарушит любые соглашения. В этом смысле более оправдана позиция, исходящая из динамичности научно-технического прогресса и независимости его направленности и динамики от наших желаний, соглашений или опасений.