Hateful Memes датасет состоит более чем из 10 тысяч примеров оскорбительных мемов. Разработкой датасета занимались исследователи из Facebook AI. FAIR лицензировали изображения из Getty Images, чтобы исследователи могли использовать датасет в своих работах. Помимо датасета, разработчики выложили в открытый доступ базовые модели, обученные на Hateful Memes. Призовой фонд соревнования составляет $100,000. Контест будет проходить до 31 октября 2020 года.
Описание проблемы
Для того чтобы ML-модели были более эффективны в распознавании ненавистнических высказываний, они должны воспринимать содержание целостно. Когда человек смотрит на изображение с мемом, он не думает об изображении и тексте отдельно. Содержание мема воспринимается как комбинация текста и изображения. Идея соревнования в том, что бы разработать модель, которая сможет оценивать оскорбительность мема схожим с человеком образом, используя мультимодальный подход.
Как собирали данные
Hateful Memes состоит из 10 тысяч примеров мемов, которые носят оскорбительный характер. Мемы имеют формат изображений с текстовой подписью на изображении. Исследователи отбирали мемы так, что бы унимодальные классификаторы изображений не могли распознать, является ли мем оскорбительным или нет. Кроме того, датасет содержит примеры, которые помогают модели избежать ошибок второго рода. Более подробная информация о датасете доступна в статье.
Процессом создания мемов занимались обученные аннотаторы. Аннотаторы создавали мемы, которые похожи на те, которыми делятся в социальных сетях. Они использовали набор изображений из Getty Images, чтобы заменить оригинальное изображение мемы и оставить семантическое содержание. Например, оригинальное изображение содержало фотографию пустыни. Аннотаторы выбиради похожую фотографию из Getty изображений, оставляя при этом текст оригинального изображения.
