Hello World. Как быть человеком в эпоху машин
Шрифт:
В 2015 году, в интервью журналу Science, Эпштейн объяснил результаты эксперимента: “Мы ждем от поисковой системы разумного выбора. Люди рассуждают так: «Да, перекосы есть, это говорит о том, что… поисковик делает свое дело»”. При том огромном объеме информации, который мы черпаем из интернета, еще больше тревожит искренняя убежденность многих социально активных граждан в том, будто они высказывают собственное мнение. “Если люди не замечают, что ими манипулируют, им кажется, что свежие идеи пришли им в голову независимо ни от чего”, – написал Эпштейн в своей статье [28] .
28
Epstein and Robertson, The search engine manipulation effect (SEME).
Безусловно, Kadoodle – не единственная программа, которой можно вменить в вину
29
Linda J. Skitka, Kathleen Mosier and Mark D. Burdick, Accountability and automation bias, International Journal of Human – Computer Studies, vol. 52, 2000, pp. 701–717, http://lskitka.people.uic.edu/IJHCS2000.pdf.
Сплошь и рядом алгоритмы предоставляют нам удобный и авторитетный источник информации. Предлагают простой способ переложить свою ответственность на кого-то другого, и мы не задумываясь соглашаемся на кратчайшие пути. Кто станет каждый раз докапываться до дальних ссылок на второй странице в Google и критически осмысливать все предложения поисковика? Кто станет шарить по сайтам всех авиакомпаний, чтобы посмотреть, действительно ли Skyscanner нашел самые дешевые варианты? Или, вооружившись линейкой и картой, проверять, нет ли еще более короткой дороги, чем выбирает GPS? Уж точно не я.
Однако надо понимать, где проходит грань. Потому что одно дело – доверять программе, которая обычно нас не подводит. Совсем другое – довериться той, про которую мало что толком известно.
Искусственный интеллект против естественной глупости
В 2012 году, в штате Айдахо, некоторым инвалидам сообщили, что их исключили из программы бесплатного медицинского обслуживания [30] . Несмотря на то, что все они имели право на льготы, власти без предупреждения сократили их пособие на 30 % [31] , и инвалидам пришлось самим изыскивать средства на оплату услуг по уходу. Это было вовсе не политическое решение, а результат применения нового “инструмента бюджетного регулирования”, взятого на вооружение Министерством здравоохранения и социальной помощи штата Айдахо – компьютерной программы для автоматического расчета пособий для каждого отдельно взятого гражданина [32] .
30
KW v. Armstrong, US District Court, D. Idaho, 2 May 2012, https://scholar.google.co.uk/scholar_case?case=17062168494596747089&hl=en&as_sdt=2006.
31
Jay Stanley, Pitfalls of Artificial Intelligence Decision making Highlighted in Idaho ACLU Case, American Civil Liberties Union, 2 June 2017, https://aclu.org/blog/privacy-technology/pitfalls-artificial-intelligence-decisionmaking-highlighted-idaho-aclu-case.
32
K. W. v. Armstrong, Leagle.com, 24 March 2014, https://www.leagle.com/decision/infdco20140326c20.
Однако рекомендации программы выглядели довольно нелогично. Человеку непосвященному показалось бы, что цифры взяты с потолка. Одним дали больше денег, чем в предыдущие годы, а другим урезали пособия на десятки тысяч долларов, и для того чтобы платить за обслуживание в лечебных учреждениях, кому-то, возможно, пришлось бы продать свой дом [33] .
Люди не могли взять в толк, почему им сократили пособия и как справиться с новыми трудностями, поэтому обратились за помощью в Американский союз защиты гражданских свобод (ACLU). В 2017 году ситуацию прокомментировал в своем блоге директор по юридическим вопросам отделения в Айдахо Ричард Эппинк: “Я тогда подумал, мы просто попросим штат объяснить, почему вдруг так сильно уменьшились суммы выплат” [34] . В действительности же для выяснения причин произошедшего потребовалось четыре года, четыре тысячи жалоб и групповой иск о возмещении ущерба [35] .
33
Ibid.
34
Stanley, Pitfalls of Artificial Intelligence Decision-making.
35
ACLU, Ruling mandates important protections for due process rights of Idahoans with developmental disabilities, 30 March 2016, https://aclu.org/news/federal-court-rules-against-idaho-department-health-and-welfare-medicaid-class-action.
Для начала Эппинк и его помощники попробовали разобраться в том, как именно работает алгоритм, однако люди, отвечавшие за программу медицинской помощи нуждающимся “Медикейд”, отказались пояснить расчеты. Они сослались на “коммерческую тайну” и запрет на открытый доступ к использованному программному обеспечению [36] . К счастью, судью, который вел дело, такая мотивировка не устроила. Инструмент бюджетного регулирования, оказавший столь сильное влияние на жизнь простых американцев, был предъявлен и оказался вовсе не высокоразвитым ИИ и не искусно оформленной математической моделью, а банальной таблицей в формате Excel [37] .
36
Stanley, Pitfalls of Artificial Intelligence Decision-making.
37
Ibid.
По-видимому, расчеты были выполнены на основе архивных данных, но из-за чудовищного количества ошибок и программных сбоев эти базы данных большей частью потеряли всякий смысл [38] . Хуже того, когда сотрудники ACLU тщательно проанализировали уравнения, выяснилось, что “способ составления самих формул содержал принципиальные статистические ошибки”. Инструмент бюджетного регулирования исправно выдавал непредсказуемые результаты для огромного множества людей. Алгоритм – если он вообще заслуживал такого названия – оказался настолько негодным, что суд признал его противоречащим Конституции [39] .
38
Ibid.
39
Ibid.
Тут надо выделить две линии неверных действий человека. Во-первых, кто-то заполнил эту бессмысленную таблицу, а во-вторых, кто-то другой наивно поверил в истинность данных. В сущности, “программа” выражала собой закодированный непрофессионализм. Но почему же люди, которые работали на государство, так рьяно защищали откровенно плохой продукт?
Вот что думает по этому поводу Эппинк:
Такая тенденция прослеживается всегда, когда дело касается результатов, полученных с помощью компьютера, – мы не подвергаем их сомнению. Если компьютер что-то рассчитывает – если есть статистик, который выводит некую формулу на основе неких данных, – мы просто верим его формуле и не спрашиваем: мол, погодите-ка, как это все работает? [40]
40
Ibid.
Я отлично понимаю, что не все любят на досуге возиться с математическими формулами, вникая в их суть, – хотя я обожаю это занятие. Но, тем не менее, Эппинк поднимает вопрос первостепенной важности – о нашей готовности принимать выводы компьютера за чистую монету, не вникая в его тайную жизнь.
Я математик, и за годы работы с данными и программами я пришла к убеждению, что существует единственный путь объективно оценить надежность алгоритма – докопаться до принципиальных основ его работы. Мой опыт говорит, что алгоритмы во многом схожи с фокусами иллюзионистов. Сперва они и впрямь кажутся непостижимыми, но когда понимаешь, как это сделано, чары рассеиваются. Нередко за внешней сложностью скрывается что-то до смешного примитивное – или настораживающе легкомысленное. В следующих главах я постараюсь дать вам представление о невидимых глазу особенностях алгоритмов, которые мы будем обсуждать. Пусть этих знаний будет маловато для того, чтобы самостоятельно произвести расчеты, но для понимания процесса – достаточно.
Однако даже самые въедливые математики порой вынуждены верить алгоритму “на слово”. Например, потому что проверка его деятельности практически невыполнима, как в случае со Skyscanner и поисковиком Google. Или программа может оказаться “засекреченной”, как алгоритм бюджетного регулирования в Айдахо и кое-какие другие программы, которые нам встретятся. Бывает и так, что попросту невозможно проследить логические связки в алгоритме – например, в некоторых системах машинного обучения.