[Оптимум]: доверься алгоритму

Доверяете ли вы компьютерной программе принимать за вас решения?

Возможно, вы бы доверились программе, написанной лично вами?

Рассмотрим случай Кэйда Мэсси (Cade Massey), профессора Университета Wharton School в Пенсильвании, и Руфуса Пибоди (Rufus Peabody), бывшего студента и профессионального игрока, делающего ставки на спортивные события.

Эти два человека вместе создали систему, известную как рейтинги Мэсси-Пибоди для прогнозирования результатов футбольных игр среди колледжей и профессионалов. Их выбор всегда был основан исключительно на статистике. Но однажды они решили проигнорировать систему, чего не следовало делать.

В октябре 2013 года университет Техаса должен был играть со своим соперником, университетом Оклахомы. Все указывало на победу Оклахомы в 14 очков, основываясь на результатах двух предыдущих лет, в течение которых Оклахома обходила Техас в среднем на 40 очков. С другой стороны, модель Мэсси-Пибоди предвидела менее драматичную победу – 9 или 10 очков вместо 14. Мэсси, как техасец, был хорошо знаком с возможностями своей команды и впервые настоял на отмене результатов системы. Тогда «Длиннорогие» (прозвище техасцев) выиграли со счетом 36:20.

Ошибка Мэсси иллюстрирует тенденцию, которая становится все более актуальной в век цифровых технологий, когда алгоритмы рекомендуют людям, какие книги покупать, находят самые быстрые маршруты передвижения, подбирают информацию, которую пользователи видят в своих социальных сетях.

Алгоритмы, в широком смысле этого слова, имеют множество преимуществ перед человеком, когда дело касается принятия решений. Люди обычно принимают во внимание несущественные факторы и игнорируют действительно важные. Они изменяют важность фактора, пользуясь различными переменными, и позволяют эмоциям и интуиции влиять на эти изменения.

Конечно, алгоритмы тоже несовершенны. Но самое смешное в том, что люди гораздо менее терпимы к ошибкам программного обеспечения, чем к своим собственным промахам, как показало исследование Мэсси.

В 2014 году было проведено исследование, в ходе которого участникам было предложено оценить, насколько успешной будет в дальнейшей жизни группа претендентов МДА (Магистр Делового Администрирования). Оценка основывалась на результатах тестов, собеседовании, эссе и профессиональном опыте. Всем участникам, кроме тех, что в контрольной группе, было предоставлено время для обучения. Одна группа сделала свои собственные выводы о будущей деятельности 15 студентов и получила комментарии о том, насколько точны были ее выводы. Вторая группа наблюдала за данными статистической модели (программы), а третья группа видела, как ее собственные суждения и выводы статистики, вместе взятые, согласуются с реальной жизнью.

В следующем блоке из 10 испытаний исследователи сказали участникам, что будут платить по $1 каждый раз, когда их предсказание будет в диапазоне плюс-минус 5% от реального результата, и спросили, хотят ли они использовать статистическую программу или будут полагаться на свои собственные суждения. Две трети участников из контрольной группы и группы, которая получала результаты, основываясь на своих суждениях, решили пользоваться программой. Однако, из двух групп, которые видели программу в работе, только четверть участников продолжили ее использовать.

Неужели программа была плохой? Совсем наоборот. Алгоритм работает на 15% лучше, чем человек, и те, кто отказались им воспользоваться заработали бы на 29% больше денег, если бы не сделали этого. В дальнейшем, исследование показало, что участники не теряли веры в свои собственные суждения, когда делали неправильные прогнозы. Но они перестали доверять алгоритму, когда он неизбежно выдавал некоторые оценки, довольно далекие от истины. Люди, которые видели, что алгоритм допускает ошибки, прекращали ему доверять.

Команда Мэсси обнаружила, что люди считают себя лучше программ в определении исключений из правил, учении на своих ошибках и в постоянном совершенствовании. Во втором эксперименте они решили исследовать, станут ли люди лояльнее к алгоритмам, если они будут иметь над ними некоторый контроль. Они пригласили более 800 участников для составления прогноза по стандартному тесту по математике учеников старшей школы, опираясь на определенные знания об учениках. На этот раз участники знали наперед, что прогнозы программы ошибаются в среднем на 17,5%.

В дальнейшем исследовании участников разделили на четыре группы, одна из которых – это контрольная группа, которая должна была принимать прогнозы алгоритма, как они есть, если они решат использовать программу. Остальные три группы могли корректировать выводы программы в пределах двух, пяти или 10 процентов, соответственно. Кроме того, участников этих трех групп спросили, хотят ли они использовать помощь алгоритма. Результаты были такими:

• 47% людей в группе, которая не могла изменять рекомендации программы, согласились ее использовать
• хотели пользоваться алгоритмом 71% тех, кто мог вносить поправки в пределах 2 или 5%, и 68% тех, кто мог корректировать выводы в районе 10%.

Что все это значит?

Множество исследований показали, что статистические модели намного точнее, чем инстинктивные суждения. Но это ничего не дает, так как люди относятся пренебрежительно к программам, точность которых меньше 100%. Ощущение небольшого уровня контроля позволяет людям чувствовать себя намного комфортнее при использовании статистических моделей наперекор своим инстинктам, даже таких, способность которых к ошибке общеизвестна.

Важность исследований Мэсси заключается в том, что беспристрастные алгоритмы имеют потенциал для того, чтобы помочь решить такие серьезные социальные проблемы, как устранение предвзятости при приеме на работу или поступлении в колледж. Другие научные исследования показывают, что работники отдела кадров склонны относиться к претендентам, которые похожи на них самих, учившихся в той же школе, имеющих похожие хобби, и да, тех, кто одной с ними расы или пола, более благосклонно, чем к тем, кто сильно от них отличается. Вот эту единственную ошибку машина никогда не допустит.