В США обучают алгоритмы прогнозирования преступлений на предвзятых и фальсифицированных данных. Об этом говорится в недавно опубликованном отчете исследователей AI Now Institute и Нью-Йоркской юридической школы.
Алгоритмы прогнозирования преступлений становятся повседневной практикой в городах США. Программное обеспечение должно помогать полицейским департаментам принимать эффективные решения, основанные на данных. Однако ученые пришли к выводу, что такие алгоритмы часто обучаются на данных, не отражающих действительность.
Предвзятость полиции и фальсификация данных
Расследование 2010 года показало, что в Новом Орлеане полиция часто превышала свои полномочия по большей части в отношении темнокожих. Расовые меньшинства, не-носители английского языка и представители ЛГБТК больше всего страдают от полицеского произвола. По словам помощника генерального прокурора Томаса Переса, проблемы были «серьезными, масштабными, системными и глубоко укоренившимися в культуре местного департамента полиции». Подобное отношение и предвзятое мнение полиции ложится в основу обучения алгоритмов.
Исследователи изучили данные 13-ти юрисдикций в США, сосредоточив внимание на тех, которые использовали системы прогнозирования, одобренные правительством. Последнее требование гарантировало, что в полиции имелись подтверждающие документы. В 9-ти юрисдикциях ученые нашли доказательства того, что алгоритмы были обучены на необъективных и даже сфальсифицированных данных.
В некоторых случаях в полицейских департаментах целенаправленно фальсифицировали данные под сильным политическим давлением с целью снижения официальной статистики преступлений. В Нью-Йорке чтобы искусственно снизить статистику преступности, участковые командиры регулярно просили жертв на местах преступлений не писать заявления. Некоторые полицейские подбрасывали наркотики невиновным людям, чтобы закрыть квоты на аресты. Действия полицейских никак не отражаются в документации, но в результате на данных подобных преступлений обучают алгоритмы предсказания.
Алгоритмы прогнозирования необъективны
Правоохранительные органы предвзято относятся к определенным категориям людей — полицейские проверки зачастую проводятся на расовой почве. «Полиция полагает, что использует нейтральные или объективные алгоритмы, но на самом деле они неконституционны и незаконны» — отмечают ученые.
Выводы исследования ставят под сомнение обоснованность результатов алгоритмов прогнозирования. Продавцы ПО часто утверждают, что предвзятые результаты инструментов легко исправить, но ученые AI Now говорят, что проблема кроется в социальной и политической системе.
Исследователи заявили, что если социальные и политические механизмы не перестанут генерировать предвзятые фальсифицированные данные, то инструменты прогнозирования принесут больше вреда, чем пользы. Работники полиции должны предоставлять правдивую информацию. Только в таком случае получится корректно применить машинное обучения для помощи правоохранительным органам и отследить реальные причины преступности.
