Fairness Flow – это набор инструментов диагностики, который помогает сравнить, насколько справедливо модели и разметчики лейблов работают для отдельных групп пользователей.
Зачем это нужно
Специалисты Facebook AI убеждены, что случаи предвзятости ИИ могут привести к нежелательным последствиям, и даже навредить пользователям сервисов. Пример предвзятости модели: один и тот же контент от различных пользователей может быть либо отмечен как спам, либо не отмечен. Пример предвзятости лейблов: разметчики по-разному оценивают один и тот же контент за авторством различных пользователей. Fairness Flow обнаруживает случаи предвзятости моделей и лейблов по отношению к группам пользователей (по гендеру, возрасту и т.д.).
Как это работает
Оценивая справедливость модели, Fairness Flow разделяет набор данных на релевантные группы пользователей и оценивает метрики для каждой группы отдельно:
- не является ли результат модели систематически завышенным или заниженным для одной или нескольких групп по сравнению с другими;
- насколько полно представлено разнообразие данных для каждой группы пользователей.
Важно отметить, что разница в метриках для различных групп не всегда указывает на предвзятость модели: в таких случаях требуется более глубокий анализ проблемы.
Ярлыки, указанные людьми, могут отражать их предубеждения, что не учитывается при оценке справедливости модели. Оценивая справедливость лейблов, Fairness Flow получает собственные метрики, используя методологию, основанную на теории обнаружения сигнала. Полученные метрики используют, чтобы оценить, насколько разметчики справляются с указанием лейблов.
Чего ждать в дальнейшем
Fairness Flow не чувствителен к контексту задачи. Однако на данный момент лучшие практики с использованием этого инструмента успешно адаптированы под определенные типы моделей (например, бинарные классификаторы) и под лейблы, для которых достоверные данные доступны в достаточном объеме. Цель команды Facebook AI – разработать процессы, которые позволят командам, использующим ИИ, систематически выявлять потенциальные проблемы при создании продуктов. Для этого необходимо выявить общие закономерности и расширить список задач и моделей, для которых применим Fairness Flow.
