21 урок для XXI века
Шрифт:
Возможно, Tesla предоставит выбор рынку. Скажем, компания выпустит две модели беспилотного автомобиля: «Альтруист» и «Эгоист». В опасной ситуации «Альтруист» будет жертвовать владельцем ради общего блага, а «Эгоист» предпримет все возможное, чтобы спасти владельца, даже если для этого придется убить двоих детей. Потребители приобретут ту модель, которая больше соответствует их философским взглядам. Если большинство покупателей предпочтет модель «Эгоист», вины Tesla в этом не будет. В конце концов, клиент всегда прав.
Это не шутка. В исследовании, проведенном в 2015 году, испытуемым предлагали гипотетический сценарий, по которому беспилотный автомобиль вот-вот наедет на нескольких пешеходов. Большинство сказали, что в такой ситуации машина должна спасать пешеходов даже ценой жизни владельца. Но когда их спросили, купят ли они автомобиль, запрограммированный жертвовать владельцем ради общего блага, большинство опрошенных ответили отрицательно. Для себя они предпочли бы модель «Эгоист» [63] .
63
Bonnefon, Shariff and Rawhan, ‘Social Dilemma of Autonomous Vehicles’.
Представьте
Может быть, в данном случае государству следует вмешаться в рыночные отношения и установить этическую норму, обязательную для всех беспилотных автомобилей? Вне всяких сомнений, некоторые законодатели обрадуются: теперь законы, которые они принимают, будут беспрекословно исполняться всегда. Других такая тотальная ответственность обеспокоит. Как бы то ни было, на протяжении всей истории ограничения правоприменения служили достаточно надежной преградой для предрассудков, ошибок и произвола законодателей. Неужели мы действительно хотим выстроить систему, в которой решения не застрахованных от ошибок политиков будут действовать с такой же непреложностью, как закон всемирного тяготения?
Цифровые диктатуры
Страх людей перед искусственным интеллектом часто обусловлен неверием в то, что он не выйдет из-под их контроля. Мы видели много научно-фантастических фильмов о роботах, которые восставали против своих хозяев, выходили на улицы и убивали всех подряд. Но в реальности проблема с роботами заключается в обратном: мы должны опасаться, что они всегда будут беспрекословно слушаться хозяев и никогда не восстанут.
Конечно, в слепом повиновении нет ничего плохого, пока робот служит доброму хозяину. Даже во время боевых действий использование роботов позволит впервые в истории обеспечить соблюдение законов войны. Иногда эмоции заставляют солдат из плоти и крови убивать, грабить и насиловать – в нарушение этих законов. Под эмоциями мы обычно понимаем сострадание, любовь и эмпатию, но на войне, как правило, преобладают страх, ненависть и жестокость. У роботов нет эмоций, а потому можно не сомневаться, что они всегда будут следовать уставу и ни при каких обстоятельствах не пойдут на поводу у страха или ненависти [64] .
64
Vincent C. M"uller and Thomas W. Simpson, ‘Autonomous Killer Robots Are Probably Good News’, University of Oxford, Blavatnik School of Government Policy Memo, November 2014; Ronald Arkin, Governing Lethal Behaviour: Embedding Ethics in a Hybrid Deliberative/Reactive Robot Architecture, Georgia Institute of Technology, Mobile Robot Lab, 2007, 1–13.
16 марта 1968 года рота американских солдат устроила резню в деревне Милай на юге Вьетнама, убив около 400 мирных жителей. Это военное преступление совершили люди, несколько месяцев воевавшие с партизанами в джунглях. Оно не имело никакой стратегической цели и противоречило как законам, так и военной политике США. Виной всему были человеческие эмоции [65] . Резни в Милае не произошло бы, если бы США использовали во Вьетнаме боевых роботов.
Но прежде чем мы бросимся разрабатывать боевых роботов, следует напомнить себе, что роботы всегда усиливают особенности своей программы. Если программа основана на принципах умеренности и благородства, то роботы, по всей вероятности, будут значительно порядочней среднестатистического солдата из плоти и крови. Но если программа безжалостна и жестока, последствия будут катастрофическими. Реальная проблема с роботами заключается не в их искусственном интеллекте, а в естественной глупости и жестокости их хозяев.
65
Bernd Greiner, War without Fronts: The USA in Vietnam, trans. Anne Wyburd and Victoria Fern (Cambridge, MA: Harvard University Press, 2009), 16. По меньшей мере одно свидетельство эмоционального состояния солдат см. в Herbert Kelman and V. Lee Hamilton, ‘The My Lai Massacre: A Military Crime of Obedience’ in Jodi O’Brien and David M. Newman (eds.), Sociology: Exploring the Architecture of Everyday Life Reading (Los Angeles: Pine Forge Press, 2010), 13–25.
В июле 1995 года в окрестностях города Сребреница войска боснийских сербов убили более 8000 боснийских мусульман. В отличие от внезапной резни в Милае убийства в Сребренице были длительной и хорошо организованной операцией – элементом политики «этнических чисток», проводимой сербами с целью изгнать из Боснии мусульман [66] . Если бы в 1995 году у боснийских сербов были боевые роботы, масштаб злодеяний, скорее всего, был бы больше, а не меньше. Робот без колебаний выполнил бы любой полученный приказ, не пощадив ни одного ребенка боснийских мусульман из чувства сострадания, отвращения или просто из лени.
66
Robert J. Donia, Radovan Karadzic: Architect of the Bosnian Genocide (Cambridge: Cambridge University Press, 2015). См. также: Isabella Delpla, Xavier Bougarel and Jean-Louis Fournel, Investigating Srebrenica: Institutions, Facts, and Responsibilities (New York, Oxford: Berghahn Books, 2012).
Безжалостному диктатору, командующему боевыми роботами, не надо бояться, что «солдаты» обратят оружие против него самого, какими бы бессердечными и безумными ни были его приказы. Вероятно, в 1789 году боевые роботы задушили бы Великую французскую революцию еще в колыбели, а если бы в 2011 году такие роботы имелись у Хосни Мубарака, он бросил бы их на борьбу с населением, не боясь предательства. Империалистическое правительство, опирающееся на армию из роботов, сможет развязывать непопулярные войны, не беспокоясь, что его «солдаты» утратят мотивацию или что их семьи выйдут на акции протеста. Если бы у США во Вьетнаме были боевые роботы, резни в Милае не случилось бы, но сама война могла бы продолжаться еще много лет, потому что американскому правительству не пришлось бы волноваться из-за деморализации в армии, массовых антивоенных демонстраций или движения «роботы-ветераны против войны». (Некоторые американцы, возможно, точно так же протестовали бы против войны, но, свободные от страха перед призывом в армию, воспоминаний о совершенных жестокостях или болезненных потерях близких, они, вероятно, выступали бы в меньших количествах и вели себя менее активно) [67] .
67
Noel E. Sharkey, ‘The Evitability of Autonomous Robot Warfare’, International Rev. Red Cross 94 (886) 2012, 787–799.
Подобного рода проблемы в гораздо меньшей степени касаются беспилотных гражданских автомобилей, поскольку ни один производитель не станет намеренно программировать машины на то, чтобы они гонялись за людьми и убивали их. А вот автономные системы вооружений – это неминуемая катастрофа, потому что в мире слишком много безнравственных и даже откровенно агрессивных правительств.
Угрозу представляют не только машины-убийцы. Не меньший риск исходит и от систем контроля. В руках демократического правительства мощные алгоритмы контроля превратятся в инструмент, лучше которого еще не знало человечество. Но если те же самые алгоритмы Big Data будут направлены на создание будущего Большого Брата, мы окажемся в оруэлловском мире, где за каждым ведется круглосуточная слежка [68] .
68
Ben Schiller, ‘Algorithms Control Our Lives: Are They Benevolent Rulers or Evil Dictators?’, Fast Company, 21 February 2017,accessed 17 September 2017.
Фактически мы имеем все шансы получить то, чего в своем богатом воображении не предвидел даже Оруэлл: режим тотальной слежки, который не только контролирует наши действия и высказывания, но и способен проникнуть нам под кожу и следить за нашими внутренними ощущениями. Какие возможности новые технологии открыли бы перед режимом Ким Чен Ына в КНДР? Предположим, что в будущем каждого северокорейского гражданина заставят носить биометрический браслет, который будет фиксировать каждое его слово, а также следить за его кровяным давлением и активностью мозга. Опираясь на новые знания о человеческом мозге и огромные возможности машинного обучения, северокорейский режим впервые в истории узнает, о чем в каждый момент времени думает каждый житель страны. Если, скажем, вы смотрите на портрет Ким Чен Ына, а биометрические датчики регистрируют явные признаки гнева (повышение кровяного давления, усиление активности миндалевидного тела), уже наутро вы проснетесь в исправительном лагере.
Да, в условиях международной изоляции северокорейский режим вряд ли способен самостоятельно разработать требуемые технологии. Но они появятся в более технически развитых странах, а КНДР и другие отсталые диктатуры просто найдут способ их скопировать. И Китай, и Россия постоянно совершенствуют свои инструменты слежки – как и некоторые демократические страны, начиная с США и заканчивая моей родиной, Израилем. В Израиле, который называют «страной стартапов», чрезвычайно развит сектор высоких технологий и создана самая современная индустрия кибербезопасности. В то же время страна погружена в жестокий конфликт с палестинцами, и некоторые из ее руководителей, генералов и простых граждан были бы рады установить режим тотального контроля на Западном берегу реки Иордан, как только появится необходимая технология.