Модель от FAIR учится действиям по видеозаписям

Исследователи из FAIR разработали модель, которая обучается взаимодействовать с объектами по видеозаписям. Модель обучалась на видео обыденных действий людей. По результатам экспериментов, модель либо повторяла, либо обходила state-of-the-art алгоритмы. Преимущество модели над конкурирующими подходами заключается в значительно меньшем объеме необходимых размеченных данных для обучения.

Предыдущие подходы опираются на вручную размеченные примеры различных действий. Предложенная модель учится на видеозаписях того, как люди взаимодействовали с объектами. Эти видеозаписи содержат в себе информацию, которая необходима системе для успешного взаимодействия с предметами. Подход позволяет улучшает способность модели распознавать ранее неизвестные объекты и выучивать, как их использовать. 

Как это работает 

Цель исследования заключалась в том, чтобы обучить модель понимать точки взаимодействия с предметом. Под точками взаимодействия понимаются части предмета, которые лучше всего объясняют способ взаимодействия человека с предметом.

Процесс обучения модели начинается с классификатора действий на видеозаписи. Классификатор учится распознавать различные виды действий на видео. Итоговая модель затем учится восстанавливать финальное состояние объекта после взаимодействия. После этого модель генерирует карту объекта с размеченными точками взаимодействия. Подход работает для тех объектов, которые не присутствовали в обучающей выборке. Точки взаимодействия объекта раскрывают функциональные характеристики объекта.

Визуализация составных частей модели

Проверка работы модели

Для тестирования подходов использовались датасеты OPRA и EPIC-Kitchens. Предложенная модель сравнивалась с следующими подходами: CENTER BIAS, LSTM+GRAD-CAM, SALIENCY, DEMO2VEC и IMG2HEATMAP.

Сравнение работы алгоритмах на задаче предсказания точек взаимодействия объектов
Подписаться
Уведомить о
guest

0 Comments
Межтекстовые Отзывы
Посмотреть все комментарии

gogpt