Hello World. Как быть человеком в эпоху машин
Шрифт:
Иногда мы будем вынуждены передавать управление “незнакомцу”, даже зная, что алгоритм может ошибиться. Нам придется сопоставлять собственное мнение с мнением машины. И если мы решим, что следует доверять не расчетам, а нашей интуиции, нам понадобится отвага, чтобы настоять на своем.
Когда нельзя уступать
Офицер Советской армии Станислав Петров отвечал за мониторинг системы предупреждения о ракетном нападении, которая охраняла воздушное пространство СССР. В том случае, если компьютер укажет на какие-либо признаки атаки со стороны США, Петров обязан был незамедлительно доложить командованию [41] .
41
Kristine Phillips, The former Soviet officer who trusted his gut – and averted a global nuclear catastrophe, Washington Post, 18 Sept. 2017, https://washing-tonpost.com/news/retropolis/wp/2017/09/18/the-former-soviet-officer-who-trusted-his-gut-and-averted-a-global-nuclear-catastrophe/?utm_term=.6546e0f06cce.
26
42
Интервью Станислава Петрова Павлу Аксенову. “СССР – США: 23 минуты на грани Апокалипсиса”, BBC, https://bbc.com/russian/multimedia/2013/09/130925_v_petrov_anno.
Петров замер в своем рабочем кресле. От него зависело, рапортовать о нападении и почти наверняка развязать мировую ядерную войну, или нарушить протокол и выждать, хотя он понимал, что с каждой секундой у руководства его страны остается все меньше времени на ответный удар.
Нам страшно повезло, потому что Петров выбрал второй вариант. Он не мог знать наверняка, что сигнал тревоги прозвучал по ошибке, но через двадцать три минуты (должно быть, они показались ему целой вечностью), когда стало ясно, что на советскую землю не упала ни одна боеголовка, он наконец убедился в своей правоте. Программа дала сбой.
Если бы система работала абсолютно автономно, не имея над собой такого контролера, как Станислав Петров, мировая история пошла бы совсем по другому сценарию. Надо думать, Москва отреагировала бы адекватно (как она полагала бы), и началась бы полномасштабная ядерная война. Из этого эпизода мы должны вывести мораль: в таких процессах ключевую роль играет человеческий фактор; избежать ошибки можно только тогда, когда человек видит указания алгоритма и может наложить вето раньше, чем будет принято решение.
Ведь только люди способны ощутить на себе весь груз ответственности за свои действия. Имей программа прямую связь с Кремлем, она ни на миг не задумалась бы о последствиях своего решения. А что же Петров? “Я понимал отлично, что меня никто не поправит” [43] .
Одна беда: на человека тоже не всегда можно положиться. Иногда люди берут власть в свои руки и правильно делают – как это сделал Станислав Петров. Но зачастую внутреннее чувство лучше подавить.
Вот вам еще один пример на тему безопасности – слава богу, в этой сфере люди редко меняют решения компьютеров, не имея оснований, и все же именно это произошло в самом большом английском парке аттракционов Alton Towers, перед той памятной страшной аварией на горках Smiler [44] .
43
Там же.
44
Stephen Flanagan, Re: Accident at Smiler Rollercoaster, Alton Towers, 2 June 2015: Expert’s Report, prepared at the request of the Health and Safety Executive, Oct. 2015, http://chiark.greenend.org.uk/~ijackson/2016/Expert%20witness%20report%20from%20Steven%20Flanagan.pdf.
В июле 2015 года двум инженерам поручили исправить неполадку в механизме аттракциона. Они устранили неисправность и для проверки запустили по трассе пустую вагонетку – но не обратили внимания на то, что она не вернулась назад. Почему-то она снова скатилась вниз на подъеме и застряла на полпути.
Тем временем операторы, обслуживающие посетителей, вывели дополнительную вагонетку, чтобы сократить растущую очередь, но об этом инженеры тоже не знали. Получив из операторской разрешение на пуск, сотрудники разрешили довольным пассажирам занять места, закрыли
По счастью, проектировщики аттракциона предусмотрели такие ситуации, и системы безопасности сработали в штатном режиме. Чтобы не произошло неминуемого столкновения, поезд остановился на вершине первого подъема, а в операционную был подан сигнал тревоги. Однако инженеры, уверенные в том, что они все починили, подумали, что автоматическая система тревоги включилась по ошибке.
Не так-то просто было переупрямить программу – чтобы вновь запустить состав, два человека должны были одновременно нажать кнопки. Они произвели необходимые действия, и полностью загруженная вагонетка покатилась вниз, прямо к другой, стоявшей на ее пути. Столкновение было кошмарным. Несколько человек получили тяжелейшие травмы, а двум совсем юным девушкам пришлось ампутировать ноги.
И трагическое происшествие в парке Alton Towers, и поступок Станислава Петрова, когда речь шла о жизни и смерти, показывают нам всю глубину проблемы выбора. За кем – или за чем – должно оставаться последнее слово в споре о власти между человеком и машиной? [45]
Борьба за власть
Этот спор начался не сегодня и не вчера. В 1954 году профессор клинической психологии Миннесотского университета Пол Мил опубликовал работу под названием “Клинический и статистический прогнозы” и, решительно заняв крайнюю позицию, взбудоражил целое поколение людей.
45
Последовательное игнорирование предупреждений автоматической системы безопасности также явилось одной из причин аварии на Чернобыльской АЭС в 1986 г. (Прим. науч. ред.)
В этой книге Мил провел систематическое сравнение деятельности людей и машин на примерах прогнозирования всего на свете, от успеваемости учеников до психического состояния пациентов, и пришел к выводу, что математические модели, независимо от уровня их сложности, почти наверняка дадут более точный ответ, чем люди.
С тех пор, в течение полувека, открытия Мила подтвердились множеством других исследований. Если от вас требуется рассчитать неважно что – медицинский прогноз или возможные объемы продаж, количество попыток самоубийств или степень удовлетворенности карьерным ростом – или дать оценку чему угодно, от годности к военной службе до перспектив выполнения учебного плана, смело ставьте на алгоритм [46] [47] . Машина тоже немного промахнется, но если позволить человеку отвергать ее решения, ошибки будут еще более грубыми. [48]
46
Paul E. Meehl, Clinical versus Statistical Prediction: A Theoretical Analysis and a Review of the Evidence (Minneapolis: University of Minnesota, 1996; first publ. 1954), http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.693.6031&rep=rep1&type=pdf.
47
William M. Grove, David H. Zald, Boyd S. Lebow, Beth E. Snitz and Chad Nelson, Clinical versus mechanical prediction: a meta-analysis, Psychological Assessment, vol. 12, no. 1, 2000, p. 19.
48
Любопытный факт: в конце 1950-х и в 1960-х годах цикл исследований в области “диагностики” (словечко не мое – так выразились авторы) гомосексуальности послужил иллюстрацией к редкому исключению из правила превосходства алгоритмов. В данном случае люди дали гораздо более точные оценки и обошли машину по всем показателям – по-видимому, то, что касается сугубо человеческой природы, невозможно адекватно описать с помощью цифр и математического аппарата.
Наверное, в этом нет ничего удивительного. Мы не созданы для вычислений. Мы не предполагаем, что в супермаркете отряд кассиров примется разглядывать наши покупки, пытаясь определить их стоимость. Мы позволяем простейшей программе сосчитать все за нас. И в большинстве случаев мы только выиграем, если предоставим это машине. Как шутят летчики, лучший экипаж состоит из троих членов – пилота, компьютера и собаки. Компьютер управляет самолетом, пилот кормит собаку, а собака кусает пилота, если тот попробует прикоснуться к компьютеру.