Эмиль Закиров

Замена лиц по нескольким фотографиям

Описание проекта

Подробное описание проекта с картинками в репозитории:
https://github.com/bonlime/neurohive

Нейросетевые алгоритмы для замены лиц людей на видео дают хорошие результаты, но требуют больших наборов данных для работы. Мы предлагаем использовать для обучения синтетические данные, полученные вращением 3d маски человека в пространстве. Подобный подход позволяет получить хорошее качество даже по десятку фотографий.

 

Состав команды:

  • Эмиль Закиров, Автор идеи, тимлид, разработчик
  • Джамиль Закиров, Разработчик, мастер по 3d, модель

Комментарии

Ivan Panin

А как именно сетка устанавливает соответствие между эмоциями лица на исходном видео и лицом, которое в него вставляют?

Яков Филин

MSQRD?:)

Эмиль Закиров

Не знаю подробностей их реализации, но вроде там немного другой подход. Скорее всего они ищут ключевые точки лица, потом деформируют имеющуююся у них маску так, чтобы ключевые точки совпадали, никаких особых улучшений по сравнению с масками из других приложений у них не увидел. У подхода на основе GAN качество гораздо лучше получается, хотя вычислительные мощности тоже больше нужны

Pavel Mochalov

Эмиль, проект огонь! Очень мне понравилось. Обязательно запущу посмотрю это дело.