Стеклянная клетка. Автоматизация и мы
Шрифт:
«Нам нужно все перепоручить роботам», – объявил теоретик по технологии Кевин Келли в 2013 году в статье, напечатанной в журнале Wired. Ссылаясь на авиацию, он заявил: «Компьютерный мозг, называемый автопилотом, может без всякой посторонней помощи управлять Boeing-787, но мы по какой-то иррациональной причине сажаем в кабину пилотов, чтобы на всякий случай следить за автопилотом» [1]. Новость о том, что автомобиль Google попал в аварию из-за того, что в тот момент машиной управлял человек, заставила одного из блогеров в сердцах воскликнуть: «Нужно больше роботов-водителей!» [2] Комментируя трудности, с которыми столкнулись общественные школы в Чикаго, обозреватель The Wall Street Journal Энди Кесслер полушутя заметил: «Почему бы нам не забыть об учителях? Вместо них надо снабдить каждого ученика iPad или планшетом с Android?» [3] В 2012 году уважаемый в Кремниевой долине венчурный капиталист Винод Кхосла предположил,
Идея соблазнительная, но от нее за милю отдает упрощенчеством. Машины наследуют пороки и заблуждения своих создателей. Рано или поздно любая, даже самая передовая технология отказывает, ломается или, как в случае компьютеризованных систем, сталкивается с ситуацией, которую не предвидели ни конструкторы, ни программисты. В этом случае алгоритм становится в тупик. В начале 2009 года, всего за несколько недель до катастрофы в Буффало, у аэробуса А320 компании US Airways отказали все двигатели из-за столкновения со стаей гусей при взлете из нью-йоркского аэропорта La Guardia. Действуя умело и хладнокровно, капитан Чесли Сулленбергер и его второй пилот Джеффри Скайлс смогли в течение трех решающих минут плавно посадить машину в реку Гудзон. С борта удалось снять всех пассажиров и экипаж. Если бы на борту этого А320 не было «нянек» в лице пилотов, то все, кто находился на борту, погибли бы почти неминуемо, ибо у пассажирских лайнеров все двигатели сразу выходят из строя очень и очень редко.
Но иногда пилоты спасают машины при механических поломках, отказах автопилота, плохой погоде и неожиданных событиях. «Снова и снова, – писал в 2009 году немецкий журнал Spiegel в статье о безопасности на воздушном транспорте, – пилоты автоматически управляемых самолетов сталкиваются с жуткими сюрпризами, предусмотреть которые не могли никакие инженеры» [5].
То же самое можно сказать и о положении в других отраслях. В прессе широко освещалось происшествие с Google-мобилем, за рулем которого сидел человек; но мы практически ничего не слышали о тех случаях, когда водители, сидевшие в автоматических машинах Google, брали на себя управление, если компьютер с ним не справлялся. Правила Google требуют ручного управления на улицах жилых кварталов, а каждый, кто хочет покататься на компьютерном автомобиле, должен пройти курсы экстремального вождения [6]. Автоматические автомобили не такие уж и самостоятельные, как кажутся.
В медицине специалистам часто приходится пересматривать инструкции или назначения, сделанные компьютерами. Руководство госпиталей обнаружило, что назначения ими лекарств, устранив некоторые общие расстройства организма человека, создали новые проблемы. Проведенное в 2011 году в одном из госпиталей исследование показало, что число случаев повторного назначения одних и тех же лекарств возросло после внедрения автоматизированной системы [7]. Диагностические программы тоже далеки от совершенства. В большинстве случаев доктор Алгоритм поставит вам правильный диагноз и назначит адекватное лечение, но если набор ваших симптомов отличается от стандартного, то вы будете благодарить судьбу за то, что в кабинете оказался доктор Человек, который исправил неудачные назначения компьютера.
Потенциальных источников ошибок становится больше по мере усложнения технологии автоматизации, увеличения числа перекрестных связей, объемов баз данных и сетевых протоколов. Системы подвергаются «каскадам отказов», в ходе которых небольшая поломка в каком-то одном звене приводит к катастрофическим последствиям, вызывая разлад всей системы. В 2010 году группа физиков писала в журнале Nature: «Человек живет в мире взаимозависимых сетей. Различные элементы инфраструктуры, такие, как водоснабжение, транспорт, заправочные станции и электростанции, – все это соединено в единую систему электроникой и другими средствами, что делает их в высшей степени чувствительными к случайным сбоям и ошибкам» [8].
Становится все труднее выявлять вероятность наступления таких нарушений. «В промышленных машинах прошлого, – объясняет научный сотрудник MIT Нэнси Ливсон в своей книге “Engineering a Safe Word” (“Создание безопасного мира”), – взаимодействие между деталями можно было надежно спланировать, понять и защитить, а всю конструкцию машины – полностью протестировать, прежде чем запускать ее в действие». Современные высокотехнологичные системы уже не обладают этими свойствами. Они стали менее управляемыми в интеллектуальном смысле, чем их предшественники, собранные
Опасность еще более увеличивается из-за невероятной скорости, с какой компьютеры принимают решения и начинают действовать. Это было наглядно продемонстрировано ужасным утром 1 августа 2012 года, когда крупнейшая торговая фирма Уолл-стрит Capital Group запустила новую автоматизированную программу для покупки и продажи акций. В этой суперсовременной программе был небольшой изъян, оставшийся незамеченным во время ее испытаний. Программа немедленно вздула валютные курсы своими абсолютно иррациональными распоряжениями, продавая ежесекундно акции на 2,6 миллиона долларов. Через 45 минут, которые потребовались математикам и программистам для того, чтобы разобраться в проблеме и остановить это безумие, программа успела растранжирить 7 миллиардов долларов, поставив компанию на грань банкротства. Через неделю консорциум других фирм Уолл-стрит компенсировал убытки Capital Group, чтобы избежать катастрофы на финансовом рынке.
Естественно, технология не стоит на месте, а неисправности всегда устраняются. Но безупречность работы автоматизированных систем, увы, навечно останется недостижимым идеалом. Даже если инженерам удастся создать совершенную систему, то ей придется подстроиться под наш мир. Беспилотные автомобили поедут не по улицам города Солнца. Роботы работают не в райских кущах. По небу по-прежнему будут летать гуси, а из туч – сверкать молнии. Убеждение в том, что когда-нибудь будет построена абсолютно самодостаточная, надежная автоматизированная система, – это не более чем утопия. К сожалению, такая вера характерна не только для высоколобых технократов, но и для инженеров и программистов, создателей этих систем. В своей знаковой статье, напечатанной в 1983 году в журнале Automatica, Лизанна Бэйнбридж, профессор инженерной психологии из Лондонского университетского колледжа (University College London), сформулировала причину наделения компьютерных систем все большими задачами, заключающуюся в том, что создатели программ часто считают людей «ненадежными и неэффективными» по сравнению с компьютерами. Люди, таким образом, превращаются в наблюдателей, пассивных созерцателей экранов [10]. Исследования вигильности [25] операторов британских радаров, следивших за немецкими подводными лодками во время Второй мировой войны, показали, что даже высокомотивированный человек не способен внимательно следить за экраном монитора больше чем полчаса, если эта информация не меняется [11]. Людям становится скучно, они отвлекаются на посторонние мысли, концентрация внимания падает. «Это означает, – писала Бэйнбридж, – что человек физически не способен наблюдать за экраном, на котором долгое время не происходит ничего существенного» [12].
25
Вигильность – настороженность, осторожность, как преднамеренная и осознанная, так и скрытая, бессознательная (например, настороженность спящей матери в отношении своего ребенка).
Поскольку навыки утрачиваются, если их не применять на практике, добавляет Бэйнбридж, то даже опытные операторы через некоторое время начинают работать как новички, если основная работа заключается в наблюдении, а не в действии. Инстинкты и рефлексы затухают, когда их не используют. У операторов возникают трудности с выявлением и оценкой возникающих проблем, а реакция на них становится медленной и обдуманной, исчезает автоматизм действий. В сочетании потери интереса к картинке с угасанием навыков кроется причина повышения риска нештатной ситуации, которая рано или поздно непременно произойдет. Как только это случается, разработчики аппаратуры вносят в нее усовершенствования, призванные еще больше ограничить роль оператора и тем самым усугубить вероятность его неверных действий. Убеждение, что человек является самым слабым звеном системы, становится принципом.
Эргономика – наука о правильной организации человеческого труда – восходит по меньшей мере к эпохе древних греков. Гиппократ в трактате «О вещах, относящихся к хирургии» помещает точные инструкции по поводу освещения и оснащения операционной, пишет, как надо раскладывать инструменты, пользоваться ими, и даже о том, во что должен быть одет хирург. В дизайне многих древнегреческих инструментов видны результаты размышлений о форме и весе инструмента, влияющих на производительность, выносливость и здоровье работника. В древних цивилизациях Азии мы тоже находим признаки приспособления орудий труда к физическому и психологическому удобству работника [13].