Цифровое общество в культурно-исторической парадигме
Шрифт:
6. Knight W. The Dark Secret at the Heart of AI // MIT Technology Review. 11 April 2017. URL:-of-ai/ (дата обращения: 07.01.2018).
7. Kotov A. A computational model of consciousness for artificial emotional agents // Psychology in Russia: State of the Art. 2017. V. 10. N. 3. P. 57–73.
8. Memes That Kill: The Future of Information Warfare // CBInsights Re-search Briefs. 3 May 2018. URL:(дата обращения: 07.01.2018).
9. Parlett N., Foyster R., Ho P. Will robots really steal our jobs? An international analysis of the potential long term impact of automation. PwC, 2018. URL:n_on_jobs.pdf (дата обращения: 05.05.2018).
10. Turchin A., Denkenberger D. Classification of global catastrophic risks connected with artificial intelligence // ИИ & Society. 2018. P. 1–17. URL:(дата обращения: 05.01.2018).
Abstract. The article discusses the problems posed by the introduction of technologies of "weak" or specialized, artificial intelligence in everyday life for psychological science and practice. Attention is drawn to the study of the implications of using algorithms for cognitive and emotional development; the impact of cultural differences on the development and approaches to the use of AI; the possibilities opened by the AI for increasing awareness and mindfulness, for constructing identity, self-image and temporal perspective, for impression management; the influence of the world programmability on causal attribution processes and trust in social institutions; the implications of machine learning in group decision support systems; the impact of AI on the legal consciousness and legal mobilization. The psychological problems associated with the emergence of "redundant people" who have lost their jobs during the automation process are recognized as particularly acute. The author draws attention to the likelihood of reduced awareness and reflexivity of society under the influence of the digital “choice architecture”, as well as the widening of the cultural gap between those who are ready for uncertainty and choice, and those who are trying to avoid having to choose something, shifting the responsibility to algorithms.
Keywords: artificial intelligence, machine learning, awareness, group decision making, causal attribution, social trust, tolerance for uncertainty, choice architecture.
Ложные
Аннотация. Дается краткий обзор некоторых исследований дачи ложных подсказок и троянского обучения (обучения со скрытыми, не декларируемыми целями тому, о чем не подозревает обучаемый). Предлагается рабочая классификация, позволяющая различать ситуации ложных подсказок и троянского обучения, в разной степени связанные с речевой деятельностью как одной из важнейших для человека. С целью объединения исследовательского поля, отталкиваясь от аналогии с исследуемыми в настоящее время «отравляющими атаками» на системы машинного обучения, можно интерпретировать ложные подсказки и троянское обучение как «отравляющую атаку на семантическую сеть». Рассматриваются возможные аспекты проблемы, связанные с подавлением вербальной креативности и исполнения. В заключение ставится вопрос о динамике представленности нарративов о ложных подсказках (обучении со злым умыслом) в различные периоды и в различных обществах, в том числе цифровом.
Ключевые слова: троянское обучение, отравляющая атака, вербальная креативность, семантическая сеть, нарратив угрозы.
3
Исследование поддержано РФФИ, проект 18-29-03167.
В театральной среде рассказываются истории о розыгрышах, когда актера более опытные партнеры предостерегают перед выходом на сцену: «Ты там не скажи … вместо …» (за «не скажи» идет неправильное слово или смешно переиначенная реплика). И именно то, от чего якобы отговаривали, на сцене закономерно и произносится – на радость советчику и залу. Другой вариант – неправильная подсказка от суфлера, решившего, например, проучить зазнавшегося актера или актрису. Эти истории – часть более широкого пласта нарративов, восходящих к таким общекультурным формам накопления и передачи социального опыта, как народные сказки. В них нередко представлены ситуации, когда одни персонажи учат других тому, что для последних невыгодно или опасно: Баба-Яга учит Иванушку садиться на лопату, чтобы засунуть его в печь; лиса учит волка ловить рыбу на собственный хвост в проруби, в результате хвост примерзает, и волк его лишается; Братец Кролик учит Братца Лиса, как вести себя тому, кто хочет правдоподобно изобразить покойника при появлении друзей, и т. д.
Ложные наводки и подсказки, акты «троянского» (обманного) обучения стали объектом научного изучения (Лефевр, 1973; Поддьяков, 2006, 2011; Kline, 2015; Rhodes et al., 2015).
В.А. Лефевр в своей теории конфликтующих структур и рефлексивного управления ввел понятие «формирование доктрины противника посредством его обучения». Одно из проявлений такого обучения на материале спорта состоит в том, что «футболист-нападающий систематически сознательно "попадается" на определенное действие одного из защитников. В результате защитник закрепляет данное действие как стандарт противодействия данному нападающему, что и используется нападающим в решающий момент» (Лефевр, 1973, с. 51).
Понятие «троянское обучение» (обучение со скрытыми, не декларируемыми целями тому, о чем не подозревает обучаемый) пересекается с понятием «формирование доктрины противника посредством его обучения», но не совпадает с ним (Поддьяков, 2011). Не всякое формирование доктрины противника посредством его обучения является скрытым троянским обучением. Например, в случае убежденности субъекта в своем явном превосходстве и в будущем проигрыше соперника он может предъявить ему свою и его доктрину для сопоставления в явном виде, не таясь, без скрытых манипуляций, в расчете на здравый смысл противостоящего субъекта. Также есть троянское обучение «с добрым умыслом», рассматривающее другого субъекта не как противника, а как не вполне разумного подопечного, которому из лучших побуждений стремятся помочь – например, вводя содержание, которому ученик не хочет обучаться, в особо привлекательной оболочке, и именно она выглядит для ученика главной составляющей (Boyle, 2001; White, 2004). При этом психологическая манипуляция и обучение тому, о чем не догадывается обучаемый, есть в ситуациях троянского обучения обоих типов – и со злым, и с добрым умыслом.
Мы провели теоретический анализ явления троянского обучения и серию эмпирических исследований с участием людей разного возраста (Поддьяков, 2006, 2011). Так, дошкольникам описывалась сказочная ситуация, в которой злые гиены решили поохотиться на беззащитных птенчиков, а храбрый львенок Симба решил их спасти. При этом и гиенам, и львенку для реализации их жестоких или же гуманных замыслов не хватает владения некоторыми знаниями и умениями. Ребенку задавались вопросы, надо ли учить гиен (или львенка) правильному или неправильному птичьему языку, учить ли их хорошо лазать по деревьям и т.д. Абсолютное большинство детей 5–6 лет давали ответы о необходимости правильного, эффективного обучения львенка и обманного обучения гиен. Это вполне согласуется с житейскими наблюдениями – на вопрос актера, играющего в спектакле волка, о том, куда убежали зайцы, дети отвечают так, чтобы обмануть его. Но в нашем эксперименте речь шла не просто об указании неправильного направления, а о некотором базовом понимании ребенком, что такое обучение, и понимании различных последствий правильного и обманного обучения в разных областях (Поддьяков, 2006).
В аппаратурном эксперименте M. Rhodes с коллегами показано, что дошкольники могут учить другого правильно, а могут, обманывая – создавая условия, чтобы другой сделал неправильные выводы из представленной ему информации. А именно, дети демонстрировали кукле работу технической игрушки на релевантных примерах, если взрослый просил ребенка показать кукле такие примеры, из которых можно узнать правило работы этой игрушки. Если же взрослый просил ребенка подшутить над куклой и запутать ее так, чтобы она пришла к неправильному заключению о работе устройства, дети подыскивали и показывали кукле нерелевантные примеры, провоцирующие ошибочный вывод (Rhodes et al., 2015). Задача требовала понимания логики работы устройства, умения строить умозаключения, а также социального интеллекта (встать на позицию другого, понять, из какой информации какие выводы он может сделать, и суметь обмануть его).
М. Клайн, ссылаясь на С.М. Камакау, пишет, что на Гавайях, где между жителями-рыбаками была очень высока конкуренция за рыбные ресурсы, дети должны были быть «скептичными учениками», поскольку имелся значимый риск стать жертвой обмана. Она также ставит более общую проблему «скептицизма» учащихся по отношению к информации, получаемой, возможно, от не вполне добросовестного «донора» (Kline, 2015).
Ситуации троянского обучения достаточны распространены в обычной жизни – таково мнение участников опроса – 393 россиян и 279 американцев от 16 до 59 лет. Более 80% респондентов – и россиян, и американцев – ответили, что обучение «со злым умыслом» бывает в реальной жизни и имеет место в школах и университетах. Около половины участников отмечали случаи, когда их учебе мешали из недружественных побуждений, а также пытались проводить по отношению к ним обучение «со злым умыслом». От 9 до 23% респондентов в разных подгруппах (в том числе некоторые профессиональные преподаватели) ответили, что сами проводили такое обучение по отношению к кому-то (Поддьяков, 2011).
В области машинного обучения, где системам искусственного интеллекта необходимы большие массивы обучающих примеров, изучаются возможности хакеров в отношении организации «отравляющих атак» на базы этих примеров (Jagielski et al., 2018). Речь идет о том, чтобы, скрыто подгрузив в базу минимальное количество особым образом подобранных примеров, нарушить процесс эффективного обучения и последующего принятия решений. (Подходящая метафора – минимально необходимая ложечка дегтя для порчи наибольшей бочки меда.) Понятно, что порча, «отравление» совокупности примеров, собранных для обучения распознавания болезни, может иметь серьезные практические следствия. Пока, к счастью, таких прецедентов не было, но превентивное исследование возможностей в этой области ведется – как и разработка контрмер (Там же).