State-of-the-art

Colorization Transformer — это нейросетевая модель, которая окрашивает черно-белые изображения и основывается на механизме внимания. Модель принимает на вход черно-белое изображение. Процесс окрашивания проходит в три этапа. Сначала авторегрессионная Transformer-модель…

Switch Transformers — это архитектура Transformer-модели с триллионом параметров. Модель разрабатывали в Google Brain. MoE модели с набором экспертов  В глубоком обучении модели обычно переиспользуют одни и те же параметры…

OpenAI опубликовали нейросетевую модель для генерации изображения по текстовому описанию. Архитектура DALL-E основывается на GPT-3, Transformer генеративной модели от OpenAI. Модель принимает на вход предложение с описанием целевого изображения и…

Исследователи из Facebook AI Research опубликовали имплементацию state-of-the-art голосовой модели, которая способна разделять до 5 голосов на аудиозаписи разговора. Прошлые методы разделения голосов на аудиозаписи были ограничены максимум двумя спикерами. Предложенная…

LambdaNetworks — это нейросетевая архитектура, которая способна захватывать длительные зависимости между входными данными и контекстуальной информацией. Например, пиксель, окруженный другими пикселями. Итоговая архитектура LambdaNetwork требует меньше вычислительных ресурсов и является…

Исследователи из University of Washington опубликовали нейросетевую модель, которая заменяет задний фон на фотографии. Модель выдает итоговые изображения со скоростью 30 кадров в секунду для разрешения 4K и 60 кадров…

Исследователи из Cornell Tech и Adobe Research опубликовали нейросетевую модель, которая генерирует динамические сцены на основе видеозаписей. Модель принимает на вход видео, снятое с одного ракурса. На выходе модель отдает…

Исследователи из Huawei Hisilicon предлагают новый метод для генерации скетча на основе изображения. Предложенная модель не только генерирует изображение скетча, но и восстанавливает сам процесс отрисовки. Модель обходит предыдущие подходы…

Исследователи из Computer Vision Lab в ETH Zurich предлагают метод обучения и масштабирования существующих моделей семантической сегментации. Метод работает для датасетов с большим количеством семантических классов без увеличения нагрузок на…

Исследователи из Google Research оптимизировали архитектуру EfficientNet. Оптимизированная версия обучается за час с точностью в 83% на задаче классификации изображений из ImageNet. Исследователи оптимизировали архитектуру под обучение на TPU-v3 Pods…

Группа исследователей из Google Research предложила нейросетевой метод для генерации изображений из текстов. По результатам экспериментов, модель обходит state-of-the-art подходы. На чем обучали модель Исследователи разработали последовательную нейронную сеть, которую…

Cone of Silence — это нейросетевая модель, которая разделяет спикеров на аудиозаписи, записанной с нескольких микрофонов. Модель выдает аудиодорожку с речью спикера и предсказывает расположение спикера относительно микрофонов. Нейросеть справляется…

mT5 — предобученный мультилингвальный Transformer для 101 языков. mT5 является расширением модели Text-to-Text Transfer Transformer (T5). Архитектуру T5 разработали исследователи из Google AI. mT5 обучался на корпусе веб-страниц из Common…

M2M-100 — это первая мультилингвальная модель машинного перевода, которая переводит на 100 языков и не задействует данные на английском языке при обучении. Разработчики опубликовали модель, пайплайн обучения и сетап оценки…

В Google Brain обучили Transformer-модель для задачи распознавания изображений. На датасетах ImageNet, CIFAR-100 и VTAB ViT (Vision Transformer) выдает результаты, сравнимые с state-of-the-art сверточными архитектурами. При этом ViT требует меньшего…

Группа исследователей из Facebook AI Research и McGill University опубликовали state-of-the-art метод для активного сбора МРТ снимков, который использует обучение с подкреплением. По результатам экспериментов, предложенный подход обходит предыдущие state-of-the-art…