Нейросеть от NVIDIA генерирует видеозаписи из облаков точек

18 июля 2020

Нейросеть от NVIDIA генерирует видеозаписи из облаков точек

NVIDIA опубликовали нейросетевой подход для генерации видеозаписей. Сцены на сгенерированных видеозаписях консистентны во времени и с разных точек обзора. Предыдущие модели для генерации видео не обеспечивали консистентность сцены. С каждым…

Нейросеть редактирует содержание изображения

17 июля 2020

Нейросеть редактирует содержание изображения

Исследователи из Hebrew University of Jerusalem обучили нейросеть, которая редактирует содержание изображение. Модель принимает на вход оригинальное изображение и карту сегментации отредактированного изображения. На выходе нейросеть выдает отредактированное в соответствии…

HiFiC: нейросеть реалистично сжимает изображения

20 июня 2020

HiFiC: нейросеть реалистично сжимает изображения

Задача сжатия размера изображения с минимальной потерей качества — это одна из актуальных проблем в компьютерном зрении. Для ее решения state-of-the-art подходом является использование GAN. Исследователи из Google Research проэкспериментировали…

Семантическая пирамида для генерации изображений

25 апреля 2020

Семантическая пирамида для генерации изображений

Исследователи из Google опубликовали нейросеть для генерации изображений, которая имеет иерархическую структуру. Подход основан на архитектуре генеративно-состязательной сети. Нейросеть использует пространство признаков, которое было предобучено с помощью модели классификации. Фреймворк…

House-GAN: нейросеть генерирует планировку дома по графу соседства комнат

13 апреля 2020

House-GAN: нейросеть генерирует планировку дома по графу соседства комнат

House-GAN — это нейросетевая генеративно-состязательная модель, которая на основе графа с расположением частей дома генерирует множество возможных планировок дома. Основная идея в House-GAN заключается в том, что бы кодировать ограничения…

CookGAN: нейросеть генерирует фото блюда по списку ингредиентов

27 февраля 2020

CookGAN: нейросеть генерирует фото блюда по списку ингредиентов

CookGAN — это генеративно-состязательная нейросеть, которая синтезирует реалистичное изображение блюда на основе списка ингредиентов. Модель основывается на StackGAN. Для того, что бы соотносить списки ингредиентов с изображениями, исследователи обучают отдельную…

Нейросеть генерирует видео с говорящим человеком по аудиозаписи

16 января 2020

Нейросеть генерирует видео с говорящим человеком по аудиозаписи

Исследователи из SenseTime опубликовали генеративную нейросеть, которая воспроизводит видеозапись говорящего человека по аудио с разговором. Модель принимает на вход изображение целевой персоны и аудиозапись с речью. На выходе модель отдает…

Нейросеть классифицирует фейковые и реальные изображения

31 декабря 2019

Нейросеть классифицирует фейковые и реальные изображения

Исследователи из UC Berkeley и Adobe Research обучили нейросетевой классификатор, который определяет фейковые изображения. Классификатор обучался на сгенерированных одной моделью изображениях. При этом он обобщается на изображения, которые были сгенерированы…

SynSin: end-to-end генерация сцены на основе одного изображения

25 декабря 2019

SynSin: end-to-end генерация сцены на основе одного изображения

SynSin — это нейросеть, которая принимает на вход изображение сцены и генерирует изображения данной сцены в других ракурсах. Модель предсказывает 3D облако точек, которые проецируется на новые ракурсы с помощью…

Робот имитирует поведение человека с помощью нейросети

25 декабря 2019

Робот имитирует поведение человека с помощью нейросети

AVID — это метод для обучения роботов действиям через воображение и наблюдение за людьми. Модель принимает на вход видео с демонстрацией действия человеком и генерирует видео с демонстрацией роботом. Исследователи…

StyleGAN2: улучшенная нейросеть для генерации лиц людей

12 декабря 2019

StyleGAN2: улучшенная нейросеть для генерации лиц людей

Архитектуры генеративно-состязательных сетей, которые основываются на стиле, выдают state-of-the-art результаты на задачах генерации изображений. Исследователи из Nvidia опубликовали обновленную версию нейросети StyleGAN, — StyleGAN2. StyleGAN2 генерирует более реалистичные изображения с…

MarioNETte: нейросеть меняет выражение лица на изображении

22 ноября 2019

MarioNETte: нейросеть меняет выражение лица на изображении

Генеративная нейросеть MarioNETte меняет выражение лица человека на изображении. На вход нейросети дополнительно подается выражение лица, которое необходимо перенести. MarioNETte обходит state-of-the-art подходы и генерирует более реалистичные изображения. Разработкой модели…

Какие объекты GAN генерировать не может

9 ноября 2019

Какие объекты GAN генерировать не может

Исследователи из MIT CSAIL изучили, какие объекты генеративным нейросетям сложнее синтезировать. На примере датасета LSUN churches такие классы объектов, как люди, машины и ворота, игнорируются генератором нейросети. Несмотря на успех…

GAN переносит выражение животного на других животных

30 октября 2019

GAN переносит выражение животного на других животных

Разработчики из NVIDIA опубликовали GAN, которая генерирует изображения животных на основе выражения и позы животного на входном изображении. Приложение GANimal позволяет загрузить фото животного. Нейросеть переносит выражение и позу животного…

Few-shot vid2vid: нейросеть генерирует фотореалистичные видео на основе видео с разметкой и изображения-примера

28 октября 2019

Few-shot vid2vid: нейросеть генерирует фотореалистичные видео на основе видео с разметкой и изображения-примера

Few-shot vid2vid — это нейросеть, которая генерирует реалистичную видеозапись по семантической видеозаписи и фотографии с примером. В качестве семантических видео используются видео с позами человека, c лицевыми выражениями и с…

Сгенерированные лица людей можно использовать коммерческих целях

24 сентября 2019

Сгенерированные лица людей можно использовать коммерческих целях

Проект generated.photos опубликовали датасет с 100 тысячами лиц в высоком разрешении. Изображения лиц были сгенерированы с помощью StyleGAN. StyleGAN — это state-of-the-art генеративная нейросеть. Опубликованные изображения можно свободно использовать в…

DeepPrivacy: нейросеть анонимизирует изображения

15 сентября 2019

DeepPrivacy: нейросеть анонимизирует изображения

DeepPrivacy — это генеративная нейросеть для анонимизации лиц на изображении. Модель распознает лица на изображении и заменяет их на сгенерированные. Датасет, на котором обучалась модель, с 1.47 миллионом изображений лиц…

SynVAE: нейросеть генерирует музыку из картины

13 сентября 2019

SynVAE: нейросеть генерирует музыку из картины

Synesthetic Variational Autoencoder (SynVAE) — это нейросеть, которая на основе изображения генерирует музыку. Модель обучалась unsupervised. SynVAE состоит из объединенных визуального VAE и MusicVAE. Изображение кодируется в музыку, а затем…

Нейросеть генерирует игрового персонажа из одного изображения

10 сентября 2019

Нейросеть генерирует игрового персонажа из одного изображения

Исследователи опубликовали нейросеть, которая генерирует изображения игрового персонажа на основе одной фотографии. Задача сводится к поиску наиболее близких черт лица в пространстве всех возможных черт лица. Пользователь может модифицировать сгенерированного…

Приложение заменяет лица актеров в фильмах на лица пользователей

3 сентября 2019

Приложение заменяет лица актеров в фильмах на лица пользователей

Zao — это бесплатное deepfake приложение, в котором пользователь  может стать частью известных кинофильмов. Пользователь загружает фотографию лица, и нейросеть заменяет лицо актера фильма на лицо пользователя. В Китае приложение…

Нейросеть увеличивает разрешение изображения до 8 раз

2 сентября 2019

Нейросеть увеличивает разрешение изображения до 8 раз

Исследователи из Кореи обучили нейросеть, которая увеличивает разрешение фотографии лица до 8 раз. Метод обходит state-of-the-art решения как по количественным, так и по качественным метрикам на задаче реконструкции лица человека…