StyleGAN2: улучшенная нейросеть для генерации лиц людей

12 декабря 2019

StyleGAN2: улучшенная нейросеть для генерации лиц людей

Архитектуры генеративно-состязательных сетей, которые основываются на стиле, выдают state-of-the-art результаты на задачах генерации изображений. Исследователи из Nvidia опубликовали обновленную версию нейросети StyleGAN, — StyleGAN2. StyleGAN2 генерирует более реалистичные изображения с…

MarioNETte: нейросеть меняет выражение лица на изображении

22 ноября 2019

MarioNETte: нейросеть меняет выражение лица на изображении

Генеративная нейросеть MarioNETte меняет выражение лица человека на изображении. На вход нейросети дополнительно подается выражение лица, которое необходимо перенести. MarioNETte обходит state-of-the-art подходы и генерирует более реалистичные изображения. Разработкой модели…

Какие объекты GAN генерировать не может

9 ноября 2019

Какие объекты GAN генерировать не может

Исследователи из MIT CSAIL изучили, какие объекты генеративным нейросетям сложнее синтезировать. На примере датасета LSUN churches такие классы объектов, как люди, машины и ворота, игнорируются генератором нейросети. Несмотря на успех…

GAN переносит выражение животного на других животных

30 октября 2019

GAN переносит выражение животного на других животных

Разработчики из NVIDIA опубликовали GAN, которая генерирует изображения животных на основе выражения и позы животного на входном изображении. Приложение GANimal позволяет загрузить фото животного. Нейросеть переносит выражение и позу животного…

Few-shot vid2vid: нейросеть генерирует фотореалистичные видео на основе видео с разметкой и изображения-примера

28 октября 2019

Few-shot vid2vid: нейросеть генерирует фотореалистичные видео на основе видео с разметкой и изображения-примера

Few-shot vid2vid — это нейросеть, которая генерирует реалистичную видеозапись по семантической видеозаписи и фотографии с примером. В качестве семантических видео используются видео с позами человека, c лицевыми выражениями и с…

Сгенерированные лица людей можно использовать коммерческих целях

24 сентября 2019

Сгенерированные лица людей можно использовать коммерческих целях

Проект generated.photos опубликовали датасет с 100 тысячами лиц в высоком разрешении. Изображения лиц были сгенерированы с помощью StyleGAN. StyleGAN — это state-of-the-art генеративная нейросеть. Опубликованные изображения можно свободно использовать в…

DeepPrivacy: нейросеть анонимизирует изображения

15 сентября 2019

DeepPrivacy: нейросеть анонимизирует изображения

DeepPrivacy — это генеративная нейросеть для анонимизации лиц на изображении. Модель распознает лица на изображении и заменяет их на сгенерированные. Датасет, на котором обучалась модель, с 1.47 миллионом изображений лиц…

SynVAE: нейросеть генерирует музыку из картины

13 сентября 2019

SynVAE: нейросеть генерирует музыку из картины

Synesthetic Variational Autoencoder (SynVAE) — это нейросеть, которая на основе изображения генерирует музыку. Модель обучалась unsupervised. SynVAE состоит из объединенных визуального VAE и MusicVAE. Изображение кодируется в музыку, а затем…

Нейросеть генерирует игрового персонажа из одного изображения

10 сентября 2019

Нейросеть генерирует игрового персонажа из одного изображения

Исследователи опубликовали нейросеть, которая генерирует изображения игрового персонажа на основе одной фотографии. Задача сводится к поиску наиболее близких черт лица в пространстве всех возможных черт лица. Пользователь может модифицировать сгенерированного…

Приложение заменяет лица актеров в фильмах на лица пользователей

3 сентября 2019

Приложение заменяет лица актеров в фильмах на лица пользователей

Zao — это бесплатное deepfake приложение, в котором пользователь  может стать частью известных кинофильмов. Пользователь загружает фотографию лица, и нейросеть заменяет лицо актера фильма на лицо пользователя. В Китае приложение…

Нейросеть увеличивает разрешение изображения до 8 раз

2 сентября 2019

Нейросеть увеличивает разрешение изображения до 8 раз

Исследователи из Кореи обучили нейросеть, которая увеличивает разрешение фотографии лица до 8 раз. Метод обходит state-of-the-art решения как по количественным, так и по качественным метрикам на задаче реконструкции лица человека…

Google обновили библиотеку для обучения генеративных моделей

2 сентября 2019

Google обновили библиотеку для обучения генеративных моделей

TF-GAN — это библиотека от Google для обучения генеративных моделей. Библиотека предоставляет быстрый доступ к ряду архитектур генеративных нейросетей, предобученным моделям и стандартизированным метрикам оценки моделей. В обновленной версии стал…

DVD-GAN: новый state-of-the-art в генерации видео

30 августа 2019

DVD-GAN: новый state-of-the-art в генерации видео

DVD-GAN — это нейросеть для генерации видео, которая была разработана исследователями из DeepMind. По результатам экспериментов, DVD-GAN лучше предыдущих решений справляется с задачами генерации и предсказания видео. Модели тестировались на…

Нейросеть генерирует аниме-персонажа из изображения

11 августа 2019

Нейросеть генерирует аниме-персонажа из изображения

U-GAT-IT — это генеративная нейросеть для синтезации изображений, которая обучается без учителя. Разработчики протестировали ее работу на задаче генерации изображений аниме-персонажей из обычных фотографий людей. Результаты экспериментов показывают, что U-GAT-IT…

F2ED: датасет для распознавания эмоций на лице

8 августа 2019

F2ED: датасет для распознавания эмоций на лице

F2ED — это датасет с размеченными изображениями человеческих лиц. Датасет предназначен для решения задачи end-to-end распознавания эмоций по данным с камер слежения. Данные собирались исследователями из Fudan University и Ping…

Нейросеть реконструировала строение мозга мухи в 3D

7 августа 2019

Нейросеть реконструировала строение мозга мухи в 3D

Исследователи из Google AI разработали нейросеть, которая воссоздала структуру мозга мухи в 3D. В качестве архитектуры были использованы Flood-Filling нейросети. Neuroglancer — это 3D-интерфейс для изучения структуры мозга мухи, который…

BigBiGAN: новый state-of-the-art подход в обучении представлений

15 июля 2019

BigBiGAN: новый state-of-the-art подход в обучении представлений

BigBiGAN — это генеративная нейросеть, которую адаптировали к задаче обучения представлений. В основе BigBiGAN лежит BigGAN,  — текущий state-of-the-art для генерации изображений. Модель была разработана исследователями из DeepMind. Состязательные генеративные…

Нейросеть генерирует видеолекции на основе аудиозаписей

8 июля 2019

Нейросеть генерирует видеолекции на основе аудиозаписей

Исследователи из Udacity разработали нейросеть LumièreNet, которая на основе аудиоклипов синтезирует видеолекции в высоком разрешении. Примеры сгенерированных видеозаписей находятся по ссылкам: первый пример, второй пример. В отличие от предшествующих моделей,…

Speech2Gesture: нейросеть генерирует жесты на основе речи

20 июня 2019

Speech2Gesture: нейросеть генерирует жесты на основе речи

Исследователи из UC Berkley разработали нейросеть, которая на основе речи человека генерирует жесты. Модель обходит state-of-the-art решения по количественной метрике. Исследователи опубликовали датасет с видеозаписями монологов и размеченными жестами, на…

VQ-VAE-2: генерация реалистичных разноплановых изображений

5 июня 2019

VQ-VAE-2: генерация реалистичных разноплановых изображений

Исследователи из DeepMind предложили использовать модифицированный вариационный автокодировщик для генерации правдоподобных разноплановых изображений. VQ-VAE-2 конкурирует по результатам с state-of-the-art подходами. Архитектура помогает избавиться от недостатков использования GAN-ов для генерации изображений.…

Amazon Alexa распознает эмоции по голосу с помощью нейросетей

4 июня 2019

Amazon Alexa распознает эмоции по голосу с помощью нейросетей

Разработчики из Alexa Research в Amazon опубликовали описание модели, которая распознает эмоции по интонации голоса человека. В качестве модели разработчики использовали автокодировщик, который позволяет обучаться на неразмеченных данных. Обычно классификация…