Ловушка Байеса, или еще одно отличие между наукой и верой

Верите ли вы в прогноз погоды, эффективность лекарств и достоверность анализов, в надежность пешеходных мостов? И если верите - то как сильно?

Чаще всего мы не задумываемся, насколько вероятно наступление какого-нибудь события; насколько точен может быть прогноз и как сильно ошибаться анализ. В лучшем случае большинство из нас обращается к априорной информации: если указано, что вероятность ошибки 1%, то так оно и есть. Но, к сожалению, интуитивные рассуждения часто идут вразрез с теорией вероятности. Сегодня хочу поговорить об одном из таких парадоксальных примеров - теореме Байеса.

Математическая запись ее довольно краткая:

Тем, кто забыл или не знал обозначения, напомню:
P - это вероятность того, что в скобочках,
B - убеждение, которое мы проверяем,
E - свидетельства.
P(B) - вероятность, что B - истинно,
P(E) - вероятность, что E - истинно,
P(B|E) - вероятность, что B - истинно в случае истинности E,
P(E|B) - вероятность того, что истинно E в случае истинности B.

Формула выглядит проще пояснений, но и в них разобраться можно. Результаты эта простая теорема Байеса выдает потрясающие! Рассмотрим несколько надуманный, но очень популярный пример.

Врач дает пациенту направление на анализ редкой болезни (болезнь эта присуща 1% людей). При этом анализ, который будут делать, с вероятностью в 1% может ошибаться в обе стороны (это означает, что 99 из 100 здоровых людей получат отрицательный результат анализа, а у 99 из 100 больных болезнь будет найдена). И вот пациент получает результат анализа - и тот положительный. С какой вероятностью пациент действительно болен?

Частый ответ: 99% - достоверность анализа. Чуть менее частый - 98,01% (0,99 * 0,99). Вариант ответа в 50% называют лишь в шутку: мол, как в анекдоте про динозавра, либо встречу, либо нет. На самым деле именно этот ответ является верным, хотя и по другим причинам.

Для начала попробуем изобразить все на картинке.

Круги здесь обозначают людей: 100 человек. По статистике один из них болен - его мы отметили красным цветом. И один человек из сотни получает ложное срабатывание анализа - его мы отметили желтым цветом. Получается, что анализ выдает положительный результат двум людям из ста. И если пациент получает положительный результат, то он обозначен либо желтым (ложное срабатывание), либо красным (болезнь) кругом. И так, каковы шансы оказаться красным?:) 1/2 - или 50%.

Проверим рисунок математикой. Для этого воспользуемся теоремой Байеса и подставим числа в формулу.
P(B) =0,01 = 1% - это вероятность того, что пациент болен, без привязки к результатам анализа.
P(E|B) = 0,99=99% - это вероятность того, что пациент болен и анализ это распознает.
P(E) - это вероятность получить положительный результат без привязки к тому, болен пациент или нет. Т.е. сюда входят и положительные ложные, и положительные истинные срабатывания анализа. Посчитаем сначала вероятность того, что пациент здоров, а анализ ошибается. Она считается довольно просто: количество ложных срабатываний (1%) умножаем на процент людей, этой болезнью (99%). Получаем, что Вероятность ложного положительного срабатывания равна 0,01*0,99= 0,0099. Вероятность истинных положительных срабатываний считаем схожим образом: точность теста 0,99 умножаем на количество действительно больных людей 0,01. Получаем те же самые 0,0099. Получается, что положительный результат будет получен с вероятностью 0,0099 + 0,0099 = 0,0198. Итак, P(E) = 0,0198

Подставляя все это в формулу, получаем:
0,01 * 0,99 / 0,0198 = 0,5. Вероятность равна 0,5 - или 50%. Как-то контринтуитивно, да?

А что, если болезнь будет более редкой? Точность анализа оставим прежней - 99%, а вот сама болезнь будет присуща 0,1% людей. Подставим новые значения в теорему Байеса.
P(B) = 0,001 = 0,1%
P(E|B) = 0,99 = 99%
P(E) снова надо учитывать вероятность ошибки. Пациент здоров, а анализ ошибается: 0,999*0,01 = 0,00999. Пациент болен, и анализ ему об этом сказал: 0,99 * 0,001 = 0,000999
Суммируем и получаем P(E) = 0,01098

И подставляем все в формулу:
0,001 * 0,99 / 0,01098 = 0,0901639

Получается, что вероятность того, что пациент болен, всего 9%, даже если анализ выдал положительный результат!

Рассмотрим пример с такой низкой вероятностью на картинке. Перед нами группа из тысячи человек - их по-прежнему обозначают круги.

Вероятность того, что человек болен, равна 0,1%. Значит, 1 человек из группы, скорее всего, будет болен: его мы отметили красным цветом.

Анализ, скорее всего, выдаст этому человеку положительный результат. Но из оставшихся 999 человек 1% получат ложное положительное срабатывание анализа - это 10 людей (округленно, конечно же). Их мы отметили желтым.

Получается, что если пациент получил положительный результат анализа и вероятность быть больным одинакова для всех, то этот пациент входит в группу из 11 человек.

А в группе этой болен только один! И шанс пациента действительно быть больным = 1 / 11 = 9%.

Как же быть с такими необычными результатами? А все довольно просто: надо сделать еще один анализ, только теперь учесть результаты предыдущего эксперимента. И так - до тех пор, пока достоверность результатов нас не удовлетворит.

Конечно же, пример выглядит довольно отвлеченным от реальности: мы редко смотрим на статистику заболеваемости, да и достоверность анализов обычному пациенту узнать не так-то просто. Но даже если цифры есть у нас на руках, то однозначно верить теореме Байеса в таких случаях не стоит: врачи, как правило, направляют на анализы не всех подряд, поэтому полностью случайными все процессы назвать нельзя, достоверность истинного положительного срабатывания будет другой.

Простой пример: сосед-алкоголик просит у вас взаймы. Если вы даете ему взаймы первый раз, то оцениваете вероятность возврата как довольно высокую - допустим, 90% (знаете, что есть соседи, которым он должен уже давно). И дальше, если вы приняли решение его кредитовать, вы можете пересчитывать свои шансы вернуть свои деньги и кредитовать соседа вновь.

Байесов подход активно применяется, например, в оценке кредитных или инвестиционных рисков, в спам-фильтрах - вообще, в расчете вероятностей из самых разных областей. При этом его часто считают противоречащим интуиции, т.к вычисления часто противоречат с самым простым для человека ответом, и надо включать мозг. Но ученые отмечают, что и животные умеют применять теорему Байеса значит, сможем и мы, люди.

Сам Байес - автор теоремы - был не только математиком, но и священником, даже формулу в привычном виде он не выводил. И теорему Байеса можно использовать как вопрос веры во что либо. Сам Байес обращал внимание на постоянный пересмотр “доверия” на основе полученных фактов и наблюдений. Чем больше информации мы получаем - тем точнее наши представления о мире, если информацию эту правильно использовать.

Открыл свою теорему Байес на основании мысленного эксперимента. В эксперименте он сидел спиной к квадратному и ровному столу и просил ассистента бросать на этот стол шар - т.е. Байес не видел, куда шар падает. Получается, что шар мог приземлиться в любой точке стола, а Байесу надо было узнать, где мяч. Для этого он просил ассистента бросить еще один шар и сказать, где тот приземлился: справа, слева, спереди или сзади предыдущего. Байес бы это записывал, а потом просил ассистента бросить шар снова. И так - много раз. 

При таком способе Байес мог бы постоянно обновлять свое представление о месте приземления первого шара. Разумеется, он никогда бы не смог быть полностью уверенным в своих предположениях, но с каждым новым броском информация бы уточнялась. Получается, что мы не можем идеально знать что-либо, и наши представления об окружающем мире - это лишь вывод из той порции данных, которую нам удалось обработать.

Байес не опубликовал свою теорему, она была напечатана спустя два года после его смерти, когда родственники Байеса попросили Ричарда Прайса посмотреть записи на предмет чего-нибудь полезного для публикации. После того, как Прайс нашел и отредактировал записи, работа Байеса была прочитана в Британском Королевском обществе. Но почему-то идеи ее не предавались публичной огласке - и французскому математику и физику Лапласу “пришлось” переоткрывать теорему Байеса снова, но уже в виде привычной нам формулы.

Легко заметить, что теорема Байеса не допускает вероятности чего-либо в 100%: она становится просто бессмысленной. Отличие веры от науки как раз в том, что всегда есть вероятность, что научная теория может ошибаться, с помощью теоремы Байеса и серии экспериментов вероятность эту можно уменьшить или увеличить. В вопросах веры нет места для ошибки - и наука там не работает.