Удовольствие от X.Увлекательная экскурсия в мир математики от одного из лучших преподавателей в мир
Шрифт:
Так как всего в группу риска попало 77 (7 + 70 = 77) женщин — но только семь из них на самом деле больны раком груди, — вероятность того, что у женщины рак груди, при условии положительной маммографии, составляет 7 из 77, или 1 из 11, то есть примерно 9 %.
Отметим два упрощения в приведенных выше подсчетах. Во-первых, мы округлили десятые доли до целых чисел. Так бывает в случаях, подобных тому, где мы сказали «Из восьми женщин, больных раком груди, семь имеют положительную маммографию». В действительности надо было сказать: 90 % из 8 женщин, или 7,2. Таким образом, мы немного пожертвовали точностью для большей ясности изложения.
Во-вторых, мы исходили из того, что все происходит именно с той частотностью, которая предполагается данной вероятностью. Например, поскольку вероятность рака груди составляет 0,8 %, мы предположили, что им больны именно 8 женщин из 1000 нашей гипотетической выборки. Но эти цифры могут не совпадать с реальностью. События не обязаны соответствовать вероятности своего наступления, ведь, если подбросить монетку 1000 раз, необязательно 500 раз выпадет орел. Но, решив, что так и будет, мы получим правильный ответ для подобных задач.
Обычно такая логика считается несколько сомнительной, поэтому ученые мужи смотрят свысока на данный подход в сравнении с более строгой, но сложной в использовании теоремой Байеса. Однако ясность ответа является достаточным аргументом для его применения. Когда Гигеренцер провел повторный опрос еще среди двадцати четырех врачей, на этот раз используя целочисленные вероятности, практически все ответили правильно.
Хотя перевод данных в натуральные
127
Вы найдете множество забавных историй об условной вероятности и ее применении в реальном мире, а также о ее неверном восприятии в книгах J. Paulos, Innumeracy (Vintage, 1990); L. Mlodinow, The Drunkard’s Walk (Vintage, 2009).
Этим грешили как обвинение, так и защита во время судебного процесса над О. Дж. Симпсоном в 1994–1995 годах [128] . Обе стороны попросили суд рассмотреть ложную условную вероятность.
Обвинение в течение первых десяти дней процесса доказывало, что Симпсон неоднократно проявлял насилие в отношении своей бывшей жены Николь Браун: регулярно избивал, унижал и прилюдно раздевал, говоря окружающим: «Это принадлежит мне». Однако каким образом эти действия относились к процессу об убийстве? Аргументом обвинения было то, что насилие в семье выступало как мотив убийства. По словам одного из обвинителей, «удар — это прелюдия убийства».
128
Подробнее об истории О. Дж. Симпсона и спорах об избиении им жены см. главу 8 книги Gigerenzer, Calculated Risks. Оценки относительно судебного процесса над О. Дж. Симпсоном и выводы Алана Дершовица о количестве женщин, избитых и впоследствии убитых партнерами, см. A. Dershowitz, Reasonable Doubts (Touchstone, 1997), рр. 101–104.
Теория вероятности впервые была применена правильно в ходе процесса Симпсона в 1995 году. Анализ, приведенный в этой главе, опирается на работы I. Good, When batterer turns murderer, Nature, Vol. 375 (1995), p. 541; When batterer becomes murderer, Nature, Vol. 381 (1996), р. 481. Анализ, проведенный Гудом, построен на относительных рисках и теореме Байеса, а не на интуитивном подходе, базирующемся на натуральных числах и используемом в работе Гигеренцера. (Кстати, карьера Гуда весьма интересна. Помимо значительного вклада в теорию вероятностей и статистику, основанную на методах Байеса, он помог в расшифровке кодов нацистской шифровальной машины «Энигма» во время Второй мировой войны и ввел футуристическое понятие, которое сегодня известно как «технологическая сингулярность».)
Анализ независимых экспертов, пришедших практически к такому же заключению, опубликован в 1995 году в работе J. F. Merz and J. P. Caulkins, Propensity to abuse — propensity to murder? Chance, Vol. 8, № 2 (1995), р. 14.
Защитник обвиняемого Алан Дершовиц [129] приводил доводы, что даже если бы голословные утверждения о домашнем насилии оказались правдой, они не относятся к делу и, следовательно, недопустимы. Позднее он написал: «Нам необходимо было доказать, что среди тех, кто избивает своих партнеров, лишь ничтожно малое число, менее 1 из 2500, совершают убийство».
В действительности же обе стороны просили суд рассмотреть вероятность того, что Симпсон убил бывшую жену, принимая во внимание тот факт, что при жизни он ее избивал. Однако специалист в области статистики И. Гуд отметил, что для этого не существует верного доказательства, на которое можно было бы сослаться.
129
Каким образом Дершовиц пришел к выводу, что среди лиц, избивающих своих партнеров, менее 1 из 2500 убивают их? На странице 104 его книги Reasonable Doubts приведены следующие цифры: в 1992 году в США от 2,5 до 4 миллионов женщин подвергались избиению со стороны мужей, любовников и бывших любовников. В том же году, согласно отчетам ФБР об уровне преступности , 913 женщин были убиты своими мужьями, а еще 519 — своими любовниками или бывшими любовниками. Если разделить общее количество убийств 1432 на 2,5 миллиона избитых женщин, то выйдет 1 убийство на 1746 избиений, а если принимать во внимание верхний порог числа избиений в 4 миллиона, то в результате получим одно убийство на 2793 избиений. Очевидно, что среди этих крайних показателей Дершовиц выбрал значение 2500.
Однако остается неясным, какая доля убитых женщин подвергалась при жизни избиениям со стороны этих мужчин. Вероятно, Дершовиц предполагал, что практически всех жертв убийств при жизни избивали, и, скорее всего, сделал вывод, что даже если эти цифры несколько преувеличены, они все равно «бесконечно малы».
Вопрос на самом деле в следующем: какова вероятность того, что муж убил свою бывшую жену, если до убийства он ее бил и она была кем-то убита? Условная вероятность в таком случае очень далека от схемы 1 на 2500.
Чтобы разобраться почему, представим себе выборку из 100 тысяч избитых женщин. Ссылаясь на предоставленные Дершовицем цифры — 1 из 2500, допустим, что примерно сорок из этих женщин были убиты мужьями в этом году (поскольку 100 000 разделить на 2500 равно 40). Можно также предположить, что еще трое из них убиты кем-либо другим [130] (эта оценка основана на статистике ФБР, касающейся количества женщин, убитых в 1992 году). Итак, из этих 43 жертв 40 были убиты теми, кто их избивал. Другими словами, в 93 % случаев убийцей являлось лицо, избивавшее женщину.
130
Согласно отчетам ФБР об уровне преступности, 4936 женщин были убиты в 1992 году. Среди них 1432 (около 29 %) убиты мужьями или любовниками. Оставшиеся 3504 пострадали от рук кого-то другого. Следовательно, принимая во внимание, что в США на тот период проживало около 125 миллионов женщин, доля тех, кто стал жертвами убийства со стороны лиц, не являвшихся их партнерами, составила 3504 на 125 миллионов, или 1 убийство на 35 673 женщин в год.
Предположим, что эта доля убийств одинакова для всех женщин независимо от того, избивали их при жизни или нет. Тогда делим 100 тысяч избиваемых женщин из нашей гипотетической выборки на 35 673 и в результате получаем 2,8 женщин, то есть столько убито лицами, которые не являлись их партнерами. Округлив 2,8 до 3, получаем оценку, приведенную в данной работе.
Не путайте это число с вероятностью того, что это сделал Симпсон. Она зависит от множества других обстоятельств, от разных «за» и «против». Например, от заявления защиты о том, что полиция выдвинула Симпсону ложные обвинения, а также от заявления обвинения, что убийца и Симпсон носили одинаковую обувь, перчатки и имели почти одинаковый код ДНК.
Какова вероятность того, что что-нибудь из перечисленного изменит ваше мнение о вынесенном приговоре? Ноль.
24. Распутывание всемирной паутины
В те далекие времена, когда Google еще не существовало, поиск в сети был безнадежным занятием [131] . Сайты, предлагаемые старыми поисковыми машинами, часто не соответствовали запросу, а те, которые содержали нужную информацию, были либо глубоко запрятаны в списке результатов, либо вообще отсутствовали.
Алгоритмы на основе анализа ссылок решили проблему, проникнув в суть парадокса, подобного коанам дзен: в результате поиска в
131
Введение в поиск в интернете и анализ ссылок см. D. Easley and J. Kleinberg, Networks, Crowds, and Markets (Cambridge University Press, 2010). Популярное изложение истории поиска в сети, рассказ о его основных действующих лицах и компаниях ищите в J. Battelle, The Search (Portfolio Hardcover, 2005). Тем, кто хорошо знаком с линейной алгеброй, будет интересна история развития анализа ссылок в статье S. Robinson, The ongoing search for efficient Web search algorithms, SIAM News, Vol. 37, № 9 (2004).
132
Если вас смутило использованное мной слово «кузнечик», поясню, что этим ласковым именем называют ученика, которому еще предстоит многому научиться у мастера дзен. В телесериале «Кунг-фу» слепой монах По учит мудрости своего ученика Кэйна и на первом уроке называет его кузнечиком.
Мастер По. Закрой глаза. Что ты слышишь?
Юный Кэйн. Я слышу воду. Я слышу пение птиц.
По. Слышишь ли ты, как бьется твое сердце?
Кэйн. Нет.
Мастер По. Слышишь ли ты кузнечика, что стрекочет у твоих ног?
Кэйн. Старик, как тебе удается слышать все это?
По. Юноша, как ты умудряешься этого не слышать?
Звучит подобно рассуждениям про замкнутый круг. [133] Так и есть. Именно поэтому все настолько сложно. Ухватившись за эту идею и превратив ее в преимущество, алгоритм анализа ссылок дает решение поиска в сети в стиле джиу-джитсу.
Этот подход построен на идеях, взятых из линейной алгебры [134] , изучения векторов и матриц. Если вы хотите выявить закономерности в огромном скоплении данных или выполнить гигантские вычисления с миллионами переменных, линейная алгебра предоставит для этого все необходимые инструменты [135] . С ее помощью был построен фундамент для алгоритма PageRank [136] , положенного в основу Google. Она также помогает ученым классифицировать человеческие лица [137] , провести анализ голосования в Верховном суде [138] , а также выиграть приз Netflix [139] (вручаемый команде, сумевшей улучшить более чем на 10 % систему Netflix, на основе которой составляются рекомендации для просмотра лучших фильмов).
133
Признание существования проблемы замкнутого круга для ранжирования веб-страниц, а также ее решение с помощью линейной алгебры вылилось в два направления исследований, опубликованных в 1998 году. Одно было проведено моим коллегой по Корнуолльскому университету Джоном Клейнбергом, который впоследствии стал экспертом исследовательского центра IBM Almaden Research Center. Его исследование посвящено алгоритму HITS (альтернативной форме анализа ссылок, появившейся немного раньше, чем алгоритм PageRank от Google), см. J. Kleinberg, Authoritative sources in a hyperlinked environment, Proceedings of the Ninth Annual ACM-SIAM Symposium on Discrete Algorithms (1998).
Вторая линия исследований проводилась основателями Google Ларри Пейджем и Сергеем Брином. В основе их алгоритма PageRank лежало количество времени, которое случайный пользователь сети будет проводить на каждой странице. Этот процесс описывается по-иному, но приводит все к той же проблеме замкнутого круга. Обоснования метода PageRank даны в статье S. Brin and L. Page, The anatomy of a large-scale hypertextual Web search engine, Proceedings of the Seventh International World Wide Web Conference (1998), рр. 107–117.
Как это часто случается в науке, поразительно похожие предвестники этих идей уже были открыты в других ее областях. С предысторией появления PageRank в библиометрике, психологии и социологии можно ознакомиться в статье М. Franceschet, PageRank: Standing on the shoulders of giants, Communications of the ACM, Vol. 54, № 6 (2011), доступной наа также S. Vigna, Spectral ranking, на http://arxiv.org/abs/0912.0238.
134
Введение в линейную алгебру и способы ее применения в различных областях науки прекрасно изложены в книге G. Strang, Introduction to Linear Algebra, 4th edition (Wellesley-Cambridge Press, 2009).
135
Некоторые наиболее впечатляющие области применения линейной алгебры описаны в работе D. James, М. Lachance, and J. Remski, Singular vectors’ subtle secrets, College Mathematics Journal, Vol. 42, № 2 (March 2011), рр. 86–95.
136
Согласно Google, термин PageRank происходит от имени Ларри Пейджа, а не от английского слова webpage (веб-страница). См. http://web.archive.org/web/20090424093934/http://www.google.com/press/funfacts.html.
137
Эта идея основана на том, что лицо человека представляет собой комбинацию небольшого числа его основных компонентов. Впервые линейная алгебра была применена для распознавания лиц в работе L. Sirovich and М. Kirby, Low-dimensional procedure for the characterization of human faces, Journal of the Optical Society of America A, Vol. 4 (1987), рр. 519–524 и получила дальнейшую разработку в исследовании М. Turk and A. Pentland, Eigenfaces for recognition, Journal of Cognitive Neuroscience, Vol. 3 (1991), рр. 71–86, доступном на http://cse.seu.edu.cn/people/xgeng/files/under/turk91eigenfaceForRecognition.pdf.
Полный список работ, посвященных этой проблеме, см. на главной странице сайта Face Recognition .
138
См. L. Sirovich, A pattern analysis of the second Rehnquist U.S. Supreme Court, Proceedings of the National Academy of Sciences, Vol. 100, № 13 (2003), рр. 7432–7437. Этому исследованию посвящена статья N. Wade, A mathematician crunches the Supreme Court’s numbers, New York Times (June 24, 2003). Следующая работа предназначена для специалистов в области права и написана математиком и профессором права: P. H. Edelman, The dimension of the Supreme Court, Constitutional Commentary, Vol. 20, № 3 (2003), рр. 557–570.
139
Историю приза компании Netflix, а также интересные подробности о первых претендентах на него читайте в статье C. Thompson, If you liked this, you’re sure to love that — Winning the Netflix prize, New York Times Magazine (November 23, 2008). Победитель был определен в сентябре 2009 года, через три года после начала соревнования, см. S. Lohr, A $1 million research bargain for Netflix, and maybe a model for others, New York Times (September 22, 2009). Применение метода разложения матрицы по собственным значениям для определения приза Netflix описано в работе B. Cipra, Blockbuster algorithm, SIAM News, Vol. 42, № 4 (2009).
Чтобы изучить линейную алгебру в действии, рассмотрим, как работает алгоритм PageRank. А чтобы выявить его сущность без лишней суеты, представим игрушечную паутину, состоящую всего из трех страниц, связанных между собой следующим образом:
Стрелки указывают, что страница X содержит ссылку на страницу Y, однако Y не отвечает ей взаимностью. Наоборот, Y ссылается на Z. Тем временем X и Z ссылаются друг на друга, сцепившись между собой цифровыми лапками.