fbpx
  • Google запустил соревнование для оценки надежности ML-моделей

    Google запустил конкурс для оценки надёжности работы моделей машинного обучения в решении задач распознавания объектов на изображениях. В основе челленджа простая классификационная задача «птица или велосипед». Классификатор должен определить, точно ли на изображении птица или велосипед, или изображение было изменено.

    image1
    Примеры ошибок классификаторов

    Участвовать в соревновании можно в качестве «атакующего» или «защитника».

    Цель защитника — создать модель, которая будет правильно маркировать чистые изображений птиц и велосипедов, и работать без погрешности на изображениях птицы или велосипеда, представленных атакующим. Цель атакующего — найти или создать изображение птицы, которое классификатор уверенно назовёт велосипедом (или наоборот). Можно использовать фотографии, изменять изображения с помощью 3D-рендеринга, создавать новые изображения птиц, используя генеративные модели и другие техники.

    Победителем станет участник, чей классификатор продержится и будет правильно маркировать изображения в течение 90 дней. Подробнее о челлендже можно прочитать в блоге Google. GitHub конкурса.