fbpx

Google запустил соревнование для оценки надежности ML-моделей

Google запустил конкурс для оценки надёжности работы моделей машинного обучения в решении задач распознавания объектов на изображениях. В основе челленджа простая классификационная задача «птица или велосипед». Классификатор должен определить, точно ли на изображении птица или велосипед, или изображение было изменено.

image1
Примеры ошибок классификаторов

Участвовать в соревновании можно в качестве «атакующего» или «защитника».

Цель защитника — создать модель, которая будет правильно маркировать чистые изображений птиц и велосипедов, и работать без погрешности на изображениях птицы или велосипеда, представленных атакующим. Цель атакующего — найти или создать изображение птицы, которое классификатор уверенно назовёт велосипедом (или наоборот). Можно использовать фотографии, изменять изображения с помощью 3D-рендеринга, создавать новые изображения птиц, используя генеративные модели и другие техники.

Победителем станет участник, чей классификатор продержится и будет правильно маркировать изображения в течение 90 дней. Подробнее о челлендже можно прочитать в блоге Google. GitHub конкурса.