Стеклянная клетка. Автоматизация и мы
Шрифт:
Можно также взять для примера поисковую систему Google. В своей исходной форме она предназначена для запроса. Интерфейс был очень прост, но сервис заставлял пользователя обдумывать запрос, тщательно его составлять и отбирать ключевые слова для получения оптимального результата. Теперь все эти хлопоты остались в прошлом. В 2008 году компания ввела в поисковик опцию Google Suggest, систему, которая, опираясь на вероятностные алгоритмы, предвосхищает то, что вы ищете. Стоит вам ввести первую букву запроса, как Google тут же услужливо предлагает набор возможных запросов в оптимальной форме. С каждой следующей буквой набор предложений изменяется. За этим новшеством прячется настойчивое, почти маниакальное стремление к эффективности. Приняв на вооружение мизантропические ценности автоматизации, Google рассматривает человеческое познание как плохо отлаженный и неуклюжий биологический процесс, доверить который
Социальные сети, например Facebook, все больше проникаются такими же идеями. Они стараются упорядочить хаотичный процесс привлечения новых участников путем «статистического» приобретения новых друзей, «like» и другими символами симпатии и привязанности, а также автоматизированным управлением многих аспектов человеческих отношений. Основатель Facebook Марк Цукерберг приветствует все эти достижения как символ «беспрепятственного общения», не требующего никаких осознанных усилий. Есть отталкивающий момент в применении социальных сетей – это стандартизация связей между людьми. Человеческие отношения требуют доверия, обходительности и жертвенности, что, с точки зрения технократического ума, является источником неэффективности и неудобства. Общение становится похожим на привязанность потребителя к товару, которая легко формируется, но так же легко и исчезает.
Подобно чрезмерно назойливым родителям, не дающим детям поступать самостоятельно, Google, Facebook и другие изготовители программ для личного пользования способствуют уничижению и нивелированию тех черт характера, которые по крайней мере в прошлом считались незаменимыми для полноценной энергичной жизни: изобретательности, любопытства, независимости, упорства, отваги. Неужели в будущем люди будут пользоваться всеми этими добродетелями в их бутафорском виде, совершая виртуальные подвиги руками таких персонажей, как Джон Марстон, в иллюзорных мирах на экранах наших компьютеров?
Глава восьмая
Ваш внутренний робот
Представьте себе холодный декабрьский вечер. Пятница. Человек едет домой с корпоративного праздника. Точнее, сказать, его везут домой. Он недавно купил свою первую самоуправляющуюся машину, запрограммированный Google, сделанный на заводе Mercedes электромобиль eSmart. И за рулем не он, а программа. В свете автоматически настраиваемых светодиодных фар он видит затянутые льдом лужицы, но на них можно не обращать внимания, так как снабженный чувствительными датчиками робот регулирует скорость и газ в полном соответствии с дорожными условиями. Все идет гладко. Человек расслабился и погрузился в приятные воспоминания о праздничном вечере. Он углубляется в густой лес, нависающий с обеих сторон, и вдруг из-за деревьев на дорогу выбегает какое-то животное и застывает в свете приближающихся фар. Это соседский охотничий пес, никогда не отличавшийся дисциплинированностью.
Что делает робот-водитель? Нажмет ли он на тормоза, спасая собаку, но рискуя тем, что машина пойдет юзом? Или уберет виртуальную ногу с педали тормоза, пожертвовав собакой ради безопасности пассажира и автомобиля? Как будет компьютер разбираться в потоке переменных и вероятностей, чтобы за долю секунды принять решение? Если посчитано, что торможение будет означать для пса вероятность уцелеть, равную 53 %, и существует вероятность 18 %, что будет повреждена машина, а с вероятностью 4 % человек, сидящий в машине, получит травму, то сочтет ли компьютер спасение собаки правильным действием? Каким образом программа, работая самостоятельно, переведет набор чисел в решение, чреватое неприятными практическими и моральными последствиями?
Что, если это собака хозяина машины? Вместо собаки на дорогу мог выбежать ребенок… Вообразите, что утром тот же человек едет на работу, просматривая поступившую за ночь электронную почту, автомобиль идет по мосту со скоростью 40 миль в час. По тротуару мост переходит группа школьников. Дети послушно идут за взрослыми, ничто не предвещает неприятностей, однако машина сбрасывает скорость, предпочтя ошибку безопасности. Внезапно среди детей возникает короткая потасовка, и одного мальчишку выталкивают на дорогу. Человек в машине, деловито набирая очередное сообщение на клавиатуре смартфона, не замечает происходящего. Робот должен принять решение: либо увернуться от наезда, выйдя из ряда и
«Появление самоуправляющегося автомобиля, – утверждает профессор психологии Нью-Йоркского университета Гэри Маркус, – лишит человека еще одной экологической ниши. Наступит новая эра, в которой машинам потребуются системы этических ценностей» [2]. Некоторые критики могут возразить, что она уже наступила. Медленно, но верно люди начали доверять компьютерам принятие морально значимых решений. Возьмем для примера широко разрекламированный пылесос-робот Roomba. Он не отличает комочки пыли от насекомых. Он сожрет и то и другое, не разбираясь в таких тонкостях. Если на пути Roomba окажется сверчок, то он засосет и его. Многие люди, пылесося квартиру, тоже едва ли обратят внимание на какую-то козявку, особенно если эта козявка – непрошеный гость в доме. Есть, однако, другие, которые остановятся, выключат пылесос, поднимут с пола сверчка и бережно вынесут за порог. (Последователи джайнизма, древней индийской религии, считают грехом причинение вреда любому живому существу.) Выпуская Roomba на ковер, мы предоставляем ему право принимать моральные решения от нашего имени. Газонокосилки-роботы, такие как LawnBott и Automower, несут смерть более совершенным проявлениям жизни – пресмыкающимся, земноводным и мелким млекопитающим. Большинство людей, увидев на лужайке жабу или полевую мышь, обычно щадят животных, а если случайно задевают их, то очень сожалеют о содеянном. Газонокосилки-роботы убивают, не испытывая угрызений совести.
До последнего времени дискуссии о нравственности роботов и других «разумных» машин носили чисто теоретический характер, становились сюжетами научно-фантастических романов или студенческих споров на философских факультетах. Этические моменты часто влияли на конструкции машин и механизмов. Оружие снабжали предохранителями, двигатели – регуляторами, поисковые системы – фильтрами, но от машин никогда не требовали совести. Им не нужно было приспосабливать работу к этическим капризам той или иной ситуации. Как только возникал вопрос об этической стороне применения машины, его решали люди. По мере того как роботы становятся все более умелыми и самостоятельными, они чаще неизбежно сталкиваются с ситуациями, в которых ни один выбор не может считаться правильным. Машинам придется, полагаясь только на себя, принимать решения. Невозможно механизировать сложную человеческую деятельность без автоматизации морального выбора.
Люди сами отнюдь этически не безупречны и часто совершают безнравственные поступки – иногда от беспомощности и безрассудства, иногда – преднамеренно. Это привело некоторых философов к мысли о том, что скорость, с какой роботы могут перебирать возможные решения, вычислять вероятности и взвешивать последствия, позволит машинам более рационально, чем человеку, подходить к выбору возможных действий. В этом взгляде есть зерно истины. В некоторых ситуациях, например там, где речь идет о деньгах и собственности, быстрое вычисление вероятностей оказывается достаточным для выбора действий, ведущих к оптимальному результату. Но вот другой пример: люди несутся через перекресток, когда желтый свет светофора меняется на красный, увеличивая тем самым вероятность дорожно-транспортного происшествия. Компьютер никогда не позволит себе такого опрометчивого действия. Моральные проблемы в большинстве своем намного сложнее. Попытка решить их математически приводит к фундаментальному вопросу: кто может определить «оптимальность» или «рациональность» того или иного действия в морально двусмысленной ситуации? Кто должен программировать совесть роботов? Их производители? Владельцы? Политики и законодатели? Может быть, философы? Страховые агенты?
Совершенных нравственных алгоритмов не существует, в настоящее время нет возможности свести этику к набору правил. Философы пытались сделать это в течение многих столетий, но потерпели фиаско. Любые самые холодные расчеты зависят от ценностей и интересов человека, принимающего решение. Рациональный выбор страховой компании может в случае наезда на собаку не совпасть с решением человека – не важно, сделал он его с расчетом или просто рефлекторно. «В эпоху роботов, – замечает политолог Чарльз Рубин, – люди все чаще будут сталкиваться с требованиями морали» [3].