Pantomime — это сервис для создания дипфейк-стикеров. Система использует нейросеть для анимации входного изображения с лицом. С помощью Pantomime можно анимировать как лица людей, так и животных. Разработкой сервиса занималась создатели проекта Dowell. На текущий момент доступна MVP-версия сервиса. В первые 12 часов Pantomime использовали 5 тысяч пользователей.
Как работает Pantomime
Пользователь загружает на сайт портрет. Система генерирует из входного изображения говорящую гифку. Гифку можно использовать как стикер. Разработчики обучили нейросеть, которая на основе 20 гифок переносит мимику на загружаемое фото. В качестве фото можно использовать портреты людей, животных и произведения искусства.
Что внутри системы
Прошлые подходы для анимации изображений не масштабировались на новые объекты, которые модель не видела во время обучения. Разработчики взяли за основу готовую архитектуру, которая позволяет генерировать анимированные видео входных изображений без предобучения на лице.
Разработчики оптимизировали существующую архитектуру так, что бы модель справлялась с нагрузкой. Однако на данный момент сервис всё ещё на стадии доработки.
Следующие шаги
Pantomime работают над ускорением работы сервиса. В ближайшее время планируется запуск бета-версии.
