Гугл думает, что я мужчина

Как фейсбук и гугл создают картину того, кто вы есть на самом деле?

 Автор оригинальной статьи: Sara Wachter-Boettcher, является веб-консультантом и автором  книги «Технически неверное: сексуальные приложения, предвзятые алгоритмы и другие угрозы токсичных технологий». 

В 2012 году гугл подумал, что я мужчина.

Позвольте вернуться назад и рассказать подробнее. В январе 2012 года поисковой гигант опубликовал новую политику конфиденциальности, которая впервые предложила объединить ваши данные об использовании множества продуктов, включая гугл-поиск, Gmail, календарь, YouTube и других в единый профиль. Это изменение вызвало настоящий переполох как внутри, так и за пределами технически подкованного контингента, и, как результат, пользователи массово стеклись в раздел «Настройки предпочтений» своих профилей, где Google указала категории, которые, по-видимому, интересовали пользователей, как и предполагалось гуглом, это были категории или, если хотите, шаблоны того, что люди используют или ищут в интернете, например «Компьютеры и электроника» или «Воспитание». Но, в дополнение к этим категориям Google указал возрастной диапазон и пол пользователя, которые считает наиболее вероятными. Он подумал, что я мужчина, в возрасте между 35 и 44. Мне было 28 лет.

Довольно скоро я поняла, что я была не одинока: большое количество женщин в моем профессиональном кругу писали об этом в Твиттере, жалуясь на то, что все они обозначались Гуглом как мужчины. Кроме того, эта ошибка затронула другие группы женщин, то были писатели-женщины на Mashable, техническом медиа-сайте; Мэри Сью, которая на тот момент рассматривала всю культуру поп-музыки с феминистской точки зрения; и, конечно же, это были работницы Forbes, бизнес-журнала. Итак, что было общего у всех нас? Наши поисковые истории были усеяны такими темами, как веб-разработка, финансы и научная фантастика. Другими словами, мы искали то, что обычно ищут мужчины. По крайней мере, так подумал Google.

То, что Google делал, - это то, что сейчас для технических продуктов  является обычным явлением: он использовал прокси. Прокси-сервер - это посредник между реальной аудиторией (реальным пользователем) и сервером. Но в этом случае мы говорим о прокси-данных: когда у вас нет информации о конкретном пользователе, которой вы хотите обладать, вы используете те данные, которые у вас есть, чтобы в дальнейшем получить эту информацию. Здесь Google хотел отследить мой возраст и пол, поскольку рекламодатели придают большое значение этой информации. Но поскольку у Google не было реальных демографических данных обо мне в то время, он попытался вывести эти факты из чего-то, что у него имелось в большом количестве: моих поисковых запросов.

Главная проблема с таким прокси-сервером заключается в том, что он полагается на предположения, и эти предположения становятся всё более глубокими с течением времени. Поэтому, если ваша модель предполагает, что то, что она слышит сейчас и слышала в прошлом, например, что большинство людей, интересующихся технологиями, являются мужчинами, со временем она научится обозначать пользователей, которые посещают веб-сайты о технологиях, как вероятных мужчин, нежели женщин. Как только это предположение закрепится, оно исказит результаты: чем чаще женщины будут неправильно помечаться как мужчины, тем больше будет похоже, что только мужчины заходят на технические веб-сайты, то есть - тем сильнее система начнёт коррелировать использование веб-сайта мужчинами.

Такие прокси "создают и определяют свою собственную реальность, используя её для оправдания своих результатов".

Короче говоря, данные прокси-сервера могут сделать систему менее точной с течением времени, вне зависимости от нашего понимания этого. Тем не менее, большая часть данных, хранящихся о нас, является прокси-данными: из почтовых индексов, используемых для прогнозирования кредитоспособности, для оценки SAT, используемой для прогнозирования привычек подростков и так далее.

Легко сказать, то что Google часто ошибается в гендерном плане не имеет никакого значения, ведь в конце концов, он просто собирается использовать эту информацию для более «релевантной» рекламы. Если большинство из нас предпочтут игнорировать рекламу, то это никого не будет волновать. Но рассмотрим потенциальные последствия: если, например, Google часто обозначал женщин, которые работали в области технологий в 2012 году, как мужчин, тогда это могло бы исказить данные о читателях технических публикаций, чтобы выглядеть более "мужскими", чем они  на самом деле. Люди, которые управляют медиа-интернет-сайтами, уделяют пристальное внимание данным о своей аудитории и используют эти данные для принятия решений. Если бы они полагали, что их аудитория была более мужской, они могли бы подумать: «Ну, может быть, женщины просто не увлекаются технологиями» - аргумент, который они, без сомнения, уже слышали раньше. Это может исказить отчетность публикаций о гендерном разрыве в технологических компаниях, чтобы больше сосредоточиться на «трубопроводе», и меньше на структурных и культурных проблемах, которые удерживают женщин. В конце концов, если женщин, интересующихся технологией не существует, как тогда работодатели могут их нанимать?

Это всё, конечно, теория: я не знаю, как часто Google ошибался с полом пользователя тогда, и я не знаю, насколько это повлияло на то, как технологическая индустрия продолжает восприниматься в наши дни. Но в этом проблема и самого Google. Прокси, естественно, неточны, пишет учёная Кэти О'Нил в работе «Оружие по уничтожению математики». Хуже того, они способны к самовоспроизведению: они «создают и определяют свою собственную реальность, используя её для оправдания своих результатов».

Теперь Google больше не думает, что я мужчина. За последние пять лет он наконец разобрался в этом (неудивительно, поскольку Google теперь знает намного больше обо мне, в том числе о том, как часто я покупаю платья и ищу идеи для стрижки). Но это не мешает другим технологическим компаниям полагаться на прокси, в том числе на Facebook. Осенью 2016 года журналисты из ProPublica обнаружили, что Facebook разрешает рекламодателям ориентироваться на клиентов в соответствии с их расой, даже когда они рекламируют жилье - что-то явно неправомерное со времени федерального закона о справедливом жилье 1968 года. Чтобы проверить систему, ProPublica разместила объявление с бюджетом в 50 долларов и решила настроить таргетинг на пользователей, которые были помечены как «вероятно переехавшие» или заинтересованы в таких темах, как «покупка дома» (некоторые из этих атрибутов те, о которых мы говорили ранее), исключая пользователей, которые были афроамериканцами, азиатами и латиноамериканцами. Объявление было одобрено сразу. Затем они показали результат адвокату по гражданским правам Джону Релману. Он ахнул. «Это ужасно, - сказал он им. «Это массовое беззаконие».

Но не спешите: Facebook фактически не позволяет нам указывать расу в нашем профиле. Тогда что же помогает рекламодателю узнавать её? Конечно, тот самый прокси. Посмотрите, что Facebook предлагает рекламодателям на самом деле не беря в расчёт таргетинг по расе и этнической принадлежности. Он ориентирован на этническую близость. Другими словами, если вам нравятся сообщения или страницы, которые, согласно алгоритму Facebook, предполагают, что вас интересует контент о конкретной расовой или этнической группе, тогда вы можете быть включены в таргетинг. Кроме того, Facebook не так позиционировался для рекламодателей: уже после того как  ProPublica создала свое объявление и написала об этом публично, Facebook разместил меню этнической принадлежности в разделе «Демография» - кристально чистый признак того, что этот выбор был не просто интересом Фейсбука, но служил для идентицификации в коммерческих (рекламных) целях.

Есть законные основания для того, чтобы Facebook предлагал таргетирование на основе этнического происхождения, например, чтобы продукт для волос, предназначенный для чернокожих женщин, фактически был нацелен на чернокожих женщин. Или так, что группа испанских общин добралась бы до латиноамериканцев. В этом есть смысл. А после отчета ProPublica, Facebook начал исключать определенные типы объявлений, например, для жилья, кредитования и занятости от использования ориентации на этническую принадлежность. Но, используя данные прокси-сервера, Facebook не просто открыл дверь для дискриминации и расово дискриминирующих объявлений; он также открыл потенциальную юридическую лазейку: они (персонал Фейсбук) могут отрицать, что действуют незаконно, поскольку они не фильтруют пользователей по расе, а только по интересам к расовому контенту. Ага, конечно.

Также есть что-то глубоко тревожное в отношении того, что Facebook назначает пользователям идентификацию, в том числе по расе, на серверной части сайта, не позволяя тем же пользователям выбирать свою собственную идентификацию в визуальной части сайта, говорит Сафия Ноубл, учёный по информационным исследованиям. «Мы подвергаемся расовой дискриминации на платформе, которая даже не позволяет нам указать нашу собственную расу и этническую принадлежность», - как-то сказала она мне. «О чём это говорит, что культурная и этническая принадлежности не видны на платформе?»

Это говорит о том, что Facebook контролирует то, как его пользователи представляют себя в Интернете, не позволяя людям выбирать себя так, как им хотелось бы самим, позволяя рекламодателям делать предположения за них. И поскольку все это происходит через данные прокси-сервера, оно скрыто от зрения, поэтому большинство из нас даже не осознаёт, что это происходит.