CookGAN: нейросеть генерирует фото блюда по списку ингредиентов

27 февраля 2020

CookGAN: нейросеть генерирует фото блюда по списку ингредиентов

CookGAN — это генеративно-состязательная нейросеть, которая синтезирует реалистичное изображение блюда на основе списка ингредиентов. Модель основывается на StackGAN. Для того, что бы соотносить списки ингредиентов с изображениями, исследователи обучают отдельную…

Нейросеть генерирует видео с говорящим человеком по аудиозаписи

16 января 2020

Нейросеть генерирует видео с говорящим человеком по аудиозаписи

Исследователи из SenseTime опубликовали генеративную нейросеть, которая воспроизводит видеозапись говорящего человека по аудио с разговором. Модель принимает на вход изображение целевой персоны и аудиозапись с речью. На выходе модель отдает…

Нейросеть классифицирует фейковые и реальные изображения

31 декабря 2019

Нейросеть классифицирует фейковые и реальные изображения

Исследователи из UC Berkeley и Adobe Research обучили нейросетевой классификатор, который определяет фейковые изображения. Классификатор обучался на сгенерированных одной моделью изображениях. При этом он обобщается на изображения, которые были сгенерированы…

SynSin: end-to-end генерация сцены на основе одного изображения

25 декабря 2019

SynSin: end-to-end генерация сцены на основе одного изображения

SynSin — это нейросеть, которая принимает на вход изображение сцены и генерирует изображения данной сцены в других ракурсах. Модель предсказывает 3D облако точек, которые проецируется на новые ракурсы с помощью…

Робот имитирует поведение человека с помощью нейросети

25 декабря 2019

Робот имитирует поведение человека с помощью нейросети

AVID — это метод для обучения роботов действиям через воображение и наблюдение за людьми. Модель принимает на вход видео с демонстрацией действия человеком и генерирует видео с демонстрацией роботом. Исследователи…

StyleGAN2: улучшенная нейросеть для генерации лиц людей

12 декабря 2019

StyleGAN2: улучшенная нейросеть для генерации лиц людей

Архитектуры генеративно-состязательных сетей, которые основываются на стиле, выдают state-of-the-art результаты на задачах генерации изображений. Исследователи из Nvidia опубликовали обновленную версию нейросети StyleGAN, — StyleGAN2. StyleGAN2 генерирует более реалистичные изображения с…

MarioNETte: нейросеть меняет выражение лица на изображении

22 ноября 2019

MarioNETte: нейросеть меняет выражение лица на изображении

Генеративная нейросеть MarioNETte меняет выражение лица человека на изображении. На вход нейросети дополнительно подается выражение лица, которое необходимо перенести. MarioNETte обходит state-of-the-art подходы и генерирует более реалистичные изображения. Разработкой модели…

Какие объекты GAN генерировать не может

9 ноября 2019

Какие объекты GAN генерировать не может

Исследователи из MIT CSAIL изучили, какие объекты генеративным нейросетям сложнее синтезировать. На примере датасета LSUN churches такие классы объектов, как люди, машины и ворота, игнорируются генератором нейросети. Несмотря на успех…

GAN переносит выражение животного на других животных

30 октября 2019

GAN переносит выражение животного на других животных

Разработчики из NVIDIA опубликовали GAN, которая генерирует изображения животных на основе выражения и позы животного на входном изображении. Приложение GANimal позволяет загрузить фото животного. Нейросеть переносит выражение и позу животного…

Few-shot vid2vid: нейросеть генерирует фотореалистичные видео на основе видео с разметкой и изображения-примера

28 октября 2019

Few-shot vid2vid: нейросеть генерирует фотореалистичные видео на основе видео с разметкой и изображения-примера

Few-shot vid2vid — это нейросеть, которая генерирует реалистичную видеозапись по семантической видеозаписи и фотографии с примером. В качестве семантических видео используются видео с позами человека, c лицевыми выражениями и с…

Сгенерированные лица людей можно использовать коммерческих целях

24 сентября 2019

Сгенерированные лица людей можно использовать коммерческих целях

Проект generated.photos опубликовали датасет с 100 тысячами лиц в высоком разрешении. Изображения лиц были сгенерированы с помощью StyleGAN. StyleGAN — это state-of-the-art генеративная нейросеть. Опубликованные изображения можно свободно использовать в…

DeepPrivacy: нейросеть анонимизирует изображения

15 сентября 2019

DeepPrivacy: нейросеть анонимизирует изображения

DeepPrivacy — это генеративная нейросеть для анонимизации лиц на изображении. Модель распознает лица на изображении и заменяет их на сгенерированные. Датасет, на котором обучалась модель, с 1.47 миллионом изображений лиц…

SynVAE: нейросеть генерирует музыку из картины

13 сентября 2019

SynVAE: нейросеть генерирует музыку из картины

Synesthetic Variational Autoencoder (SynVAE) — это нейросеть, которая на основе изображения генерирует музыку. Модель обучалась unsupervised. SynVAE состоит из объединенных визуального VAE и MusicVAE. Изображение кодируется в музыку, а затем…

Нейросеть генерирует игрового персонажа из одного изображения

10 сентября 2019

Нейросеть генерирует игрового персонажа из одного изображения

Исследователи опубликовали нейросеть, которая генерирует изображения игрового персонажа на основе одной фотографии. Задача сводится к поиску наиболее близких черт лица в пространстве всех возможных черт лица. Пользователь может модифицировать сгенерированного…

Приложение заменяет лица актеров в фильмах на лица пользователей

3 сентября 2019

Приложение заменяет лица актеров в фильмах на лица пользователей

Zao — это бесплатное deepfake приложение, в котором пользователь  может стать частью известных кинофильмов. Пользователь загружает фотографию лица, и нейросеть заменяет лицо актера фильма на лицо пользователя. В Китае приложение…

Нейросеть увеличивает разрешение изображения до 8 раз

2 сентября 2019

Нейросеть увеличивает разрешение изображения до 8 раз

Исследователи из Кореи обучили нейросеть, которая увеличивает разрешение фотографии лица до 8 раз. Метод обходит state-of-the-art решения как по количественным, так и по качественным метрикам на задаче реконструкции лица человека…

Google обновили библиотеку для обучения генеративных моделей

2 сентября 2019

Google обновили библиотеку для обучения генеративных моделей

TF-GAN — это библиотека от Google для обучения генеративных моделей. Библиотека предоставляет быстрый доступ к ряду архитектур генеративных нейросетей, предобученным моделям и стандартизированным метрикам оценки моделей. В обновленной версии стал…

DVD-GAN: новый state-of-the-art в генерации видео

30 августа 2019

DVD-GAN: новый state-of-the-art в генерации видео

DVD-GAN — это нейросеть для генерации видео, которая была разработана исследователями из DeepMind. По результатам экспериментов, DVD-GAN лучше предыдущих решений справляется с задачами генерации и предсказания видео. Модели тестировались на…

Нейросеть генерирует аниме-персонажа из изображения

11 августа 2019

Нейросеть генерирует аниме-персонажа из изображения

U-GAT-IT — это генеративная нейросеть для синтезации изображений, которая обучается без учителя. Разработчики протестировали ее работу на задаче генерации изображений аниме-персонажей из обычных фотографий людей. Результаты экспериментов показывают, что U-GAT-IT…

F2ED: датасет для распознавания эмоций на лице

8 августа 2019

F2ED: датасет для распознавания эмоций на лице

F2ED — это датасет с размеченными изображениями человеческих лиц. Датасет предназначен для решения задачи end-to-end распознавания эмоций по данным с камер слежения. Данные собирались исследователями из Fudan University и Ping…

Нейросеть реконструировала строение мозга мухи в 3D

7 августа 2019

Нейросеть реконструировала строение мозга мухи в 3D

Исследователи из Google AI разработали нейросеть, которая воссоздала структуру мозга мухи в 3D. В качестве архитектуры были использованы Flood-Filling нейросети. Neuroglancer — это 3D-интерфейс для изучения структуры мозга мухи, который…