State-of-the-art

MEAL V2 — это способ улучшить точность классификации стандартной ResNet-50 до 80%+ на датасете ImageNet без изменений в архитектуре. Код и модели доступны в открытом репозитории на GitHub. Подробнее про…

GPT-f — это языковая модель, которую обучили генерировать доказательства теорем. В качестве архитектуры использовали transformer-модель GPT-3. GPT-f призван ассистировать математикам при доказательстве теорем. Модель работает для формального языка для доказательства…

Wav2Lip — это нейросеть, которая адаптирует видео с говорящим лицо под аудиозапись речи. Предложенная нейросеть обходит state-of-the-art подходы на задаче синхронизации губ человека на видеозаписи с аудидорожкой. Ограничения прошлых подходов…

PEGASUS — это метод предобучения для задачи абстрактивной суммаризации. Базовая архитектура PEGASUS состоит из Transformer-модели с энкодером и декодером. Во время обучения модель оптимизирует два функционала ошибки: GSG и MLM.…

SipMask — это одноступенчатая нейросеть для instance сегментации объектов на изображении. Модель обходит предыдущие одноступенчатые state-of-the-art подходы на датасете COCO test-dev. В сравнении с TensorMask, SipMask дает прирост AP в…

CFBI — это нейросеть, которая сегментирует объекты на заднем и переднем планах в видеозаписи. Нейросеть обучалась частично с привлечением размеченных данных (semi-supervised). CFBI отличается от предыдущих подходов тем, что модель…

TransCoder — это нейросеть, которая переводит код программы с одного языка на другой. Модель не нуждается в размеченных параллельных данных для обучения. На данный момент TransCoder успешно переносит функции на…

TaBERT — это нейросеть, которая переводит запросы данных с естественного языка на SQL. В основе модели лежит трансформер-архитектура BERT, которая является state-of-the-art в обработке естественного языка.  TaBERT предобучили на задаче…

FAIR опубликовали нейросетевой фреймоворк для распознавания содержимого видеозаписи. Generalized Data Transformations обучается без размеченных данных. Предложенный подход обходит state-of-the-art на датасетах HMDB-51 и UCF-101 в задачах видео и аудио классификации…

PULSE — это нейросетевая модель, которая генерирует изображение в высоком разрешении из изображения в низком разрешении. Предложенная модель обучается self-supervised и генерирует изображения в беспрецедентно высоком разрешении. Описание проблемы Задача…

PIFuHD — это нейросетевая архитектура для восстановления 3D модели человека из 2D изображения. Подход обходит существующие модели по реалистичности генерируемых 3D моделей. Разработкой модели занимались исследователи из Facebook AI. PIFuHD…

YOLOv5 — обновленная версия YOLO, state-of-the-art модели для распознавания объектов в реальном времени. YOLOv5 выдает предсказания со скоростью 140 кадров в секунду. Эволюция YOLO моделей YOLO (You Only Look Once)…

Samsung AI опубликовали схему обучения модели для интерактивной сегментации. Пользователь указывает курсором на объект, а модель выдает предсказания границ объекта.  В чем проблема Ограничение существующих подходов в том, что они…

OpenAI обучили GPT-3, авторегрессионную языковую модель с 175 миллиардами параметров. Размер модели в 10 раз превышает размер предыдущей самой крупной языковой модели. Исследователи протестировали GPT-3 для few-shot обучения. Модель способна…

EfficientPS — это нейросетевая модель для паноптической сегментации объектов на изображении. На данный момент модель обходит state-of-the-art подходы на датасетах Cityscapes, KITTI, Mapillary Vistas и IDD. Паноптическая сегментация Одним из…

Восстановление цвета на изображении — это одна из открытых задач в компьютерном зрении. Исследователи из National Tsing Hua University и Virginia Tech обучили модель, которая учитывает распознанные instance-маски объектов при…

В FAIR опубликовали самого крупного чатбота, который поддерживает разговор на любые темы. По результатам опроса, Blender обходит предыдущих опенсорсных чатботов по вовлеченности и человечности. Blender является первым чатботом, которые совмещает…

Большая часть исследований на стыке компьютерного зрения и NLP фокусируется на наборе небольших задач, которые изучаются по отдельности. Однако навыки обработки визуальной и текстовой информации для решения разных задач значительно…

Исследователи из University of Washington опубликовали модель, которая подменяет задний фон на изображении. Алгоритм обходит state-of-the-art подходы. Примерами применений модели является съемка видео или смена заднего фона во время видео-звонков.…