Роботы-убийцы против человечества. Киберапокалипсис сегодня
Шрифт:
Данный материал является итогом первого этапа работ в рамках проекта Американского Центра Новой Безопасности «Этика автономии». Мы надеемся, что он поможет всем размышляющим и пишущим на тему АО, АРС и БАРС использовать общую терминологию и видение. Мы также особо хотели подчеркнуть, что, хотя подавляющая часть автономных систем имеет отношение к робототехнике, строго говоря, автономные системы могут быть реализованы и помимо робототехники в электромагнитной среде при помощи программных средств, в том числе боевых компьютерных программ, вирусов и других форм небиологических активных систем.
Что такое автономность?
В настоящее время термин «автономность» разные исследователи используют по-разному. Его применение различается не только по странам, но и по дисциплинам, и даже отдельным исследователям.
Однако, несмотря на то, что нет терминологического согласия, словосочетание уже прочно вошло в лексикон военных руководителей и официальных документов. Так, осенью 2014 года заместитель министра обороны США по закупкам, технологиям и логистике Фрэнк Кендалл в своем официальном выступлении, посвященном Третьей оборонной инициативе, сказал, что она будет сосредоточена в том числе на «обеспечении широкого использования автономности на всех полях боевых действий, включая воздух, землю, воду, космос и киберпро-странство». НАТО в своих официальных документах конца 2014 года отметило «необходимость максимально полного использования потенциала АРС в боевых действиях». Южная Корея в бюджете на 2015 год предусмотрела графу по финансированию разработки автономных роботизированных средств наблюдения и контроля над демилитаризованной зоной с Северной Кореей. Министр обороны России С. Шойгу в конце 2014 года заявил о необходимости «разработки и принятия на вооружение армии автономных роботизированных систем, обеспечивающих охрану ключевых военных объектов, разведку и транспортировку грузов и боевых систем».
В своей простейшей форме автономность представляет собой способность машины выполнить задачу без вмешательства человека. Таким образом, автономная система является машиной, а точнее алгоритмизированным средством. Автономными системами могут быть как аппаратные средства, так и программное обеспечение или программно-аппаратные комплексы самого различного типа. Главное, чтобы они могли после своей активации функционировать и выполнять поставленные перед ними задачи самостоятельно, без вмешательства и участия человека, за исключением в некоторых случаев контроля и управления в условиях форс-мажора.
Автономные системы (АС) не ограничиваются роботами или автоматическими транспортными средствами, типа Гуглмобиля. На самом деле, автономностью обладают многие типы промышленного, складского и транспортного оборудования и систем. Большинство автомобилей включает в себя автоматическую антиблокировочную систему тормозов, тяги и контроля безопасности, аварийную автоматическую систему ремней и подушек безопасности, круиз-контроль и т. п. Для военных самолетов уже долгое время применяются не только автопилоты, но и автоматические системы маневра в воздухе при обнаружении других воздушных судов или объектов, угрожающих столкновением. Автоматизация и роботизация производства, транспорта и быта стали не фантастикой, а повседневностью. Они обеспечили значительный рост производительности, экономию средств, возможность решения задач в сложных, вредных и деградировавших средах и т. п.
Три размерности автономности
Различное понимание автономности и терминологическая путаница в немалой степени обязаны историческому использованию слова «автономия», для обозначения трех различных явлений и процессов:
• контроля и управления в человеко-машинных системах, где автономия является характеристикой разделения функций между человеком и машиной;
• сложности машины;
• уровня автоматизации решений.
Эти три подхода различаются между собой и отражают совершенно не связанные между собой концептуальные схемы. Однако, люди, как правило, смешивают их вместе и пытаются создать термин, пригодный на все случаи жизни. Для того, чтобы выработать с одной стороны устраивающее всех
Управление и контроль в человеко-машинных системах
Первый способ употребления термина «автономия» относится к взаимоотношениям между человеком и машиной в рамках гибридных человеко-машинных систем. В тех случаях, когда машины лишь частично выполняют функции управления, а частично это делает человек, их называют полуавтономными машинами. Еще используется термин «машина с человеком в петле» (имеется в виду петля прямой и обратной связей в системах управления).
Машины, которые полностью выполняют все функции, но включают человека как контролера, и предусматривают возможность вмешательства его в управление при форс-мажорной или какой-либо иной ситуации называют автономными машинами под человеческим контролем.
Те машины, которые выполняют все функции самостоятельно и не предусматривают вмешательство людей в выполнение функций, называют полностью автономными машинами, или машинами «без человека в петле». Подчеркнем, что данное понимание автономии, строго говоря, не предъявляет никаких требований к способностям машин и тем более не говорит о наличии у них искусственного интеллекта. Оно только фиксирует распределение между человеком и машиной управляющих и контрольных функций.
Автономность как сложность
Термин «автономия» часто используется применительно к машинам как синоним сложности. Часто, независимо от распределения командно-контрольных функций, автоматические и автоматизированные системы характеризуются как автономные, если они способны выполнять сложные и/или разнообразные задачи и функции.
Исторически получилось так, что автоматические системы выполняли и выполняют очень простые, элементарные функции. Например, автоматическими являются тостеры и механические термостаты. С другой стороны, автоматическими являются и Гугломобили, и роботы-сборщики на конвейерах электромобилей «Тесла». Поскольку не только специалисты, но и далекие от производства люди понимают, что это принципиально разные устройства, для обозначения вторых стал использоваться термин «автономные». Кроме того, в последние годы термин «автономные» все чаще применяют для обозначения систем, предполагающих использование программ машинного обучения, в том числе так называемых систем «обучения без учителя».
Некоторые исследователи и практики предлагают использовать термин «автономные» только для машин, наделенных интеллектом. Однако такой подход лишь запутывает дело. Сегодня никому не понятно, что такое не только искусственный, но и естественный разум.
Термин «искусственный интеллект» вовсю применяется для выделения из общего ряда таких суперкомпьютеров, как Deep Blue, Watson и т. п. Однако, поскольку никому не понятно, что такое человеческий разум, а тем более психика, сознание, подсознание, то эти категории не могут использоваться не только для выработки юридически обязывающих соглашений, но и для образования стандартных общепринятых терминов. Нельзя что-то неизвестное определить через другое неизвестное. В этом плане мы считаем совершенно бесперспективной дискуссию на тему: когда компьютеры или роботы обретут разум. Поскольку мы не знаем, что такое разум в строгом смысле этого слова, то мы не можем с уверенностью сказать, когда его обретут или уже обрели компьютеры и роботы. К тому же мы не можем сказать, является ли вообще разум свойством отдельного индивидуума, либо он может быть реализован, сформирован и функционировать только в определенной общности. Пример детей, воспитывавшихся у животных, заставляет сомневаться в том, что единичный разум существует вообще. Тогда вполне может оказаться, что каждый отдельный компьютер и робот никаким разумом и сознанием не обладали и не обладают, а в системе, вполне вероятно, уже являются сознательными и разумными. Другое дело, мы должны понимать: это будут не человеческие сознание и разум, которые не вполне сможет распознать человек, если на это не будет желания иного разума. Кстати говоря, как это ни парадоксально, по этому же критерию и сетевой машинный разум и психика могут не распознать человеческий разум и психику, и считать их в этом смысле неразумными, со всеми вытекающими последствиями.