State-of-the-art

TaBERT — это нейросеть, которая переводит запросы данных с естественного языка на SQL. В основе модели лежит трансформер-архитектура BERT, которая является state-of-the-art в обработке естественного языка.  TaBERT предобучили на задаче…

FAIR опубликовали нейросетевой фреймоворк для распознавания содержимого видеозаписи. Generalized Data Transformations обучается без размеченных данных. Предложенный подход обходит state-of-the-art на датасетах HMDB-51 и UCF-101 в задачах видео и аудио классификации…

PULSE — это нейросетевая модель, которая генерирует изображение в высоком разрешении из изображения в низком разрешении. Предложенная модель обучается self-supervised и генерирует изображения в беспрецедентно высоком разрешении. Описание проблемы Задача…

PIFuHD — это нейросетевая архитектура для восстановления 3D модели человека из 2D изображения. Подход обходит существующие модели по реалистичности генерируемых 3D моделей. Разработкой модели занимались исследователи из Facebook AI. PIFuHD…

YOLOv5 — обновленная версия YOLO, state-of-the-art модели для распознавания объектов в реальном времени. YOLOv5 выдает предсказания со скоростью 140 кадров в секунду. Эволюция YOLO моделей YOLO (You Only Look Once)…

Samsung AI опубликовали схему обучения модели для интерактивной сегментации. Пользователь указывает курсором на объект, а модель выдает предсказания границ объекта.  В чем проблема Ограничение существующих подходов в том, что они…

OpenAI обучили GPT-3, авторегрессионную языковую модель с 175 миллиардами параметров. Размер модели в 10 раз превышает размер предыдущей самой крупной языковой модели. Исследователи протестировали GPT-3 для few-shot обучения. Модель способна…

EfficientPS — это нейросетевая модель для паноптической сегментации объектов на изображении. На данный момент модель обходит state-of-the-art подходы на датасетах Cityscapes, KITTI, Mapillary Vistas и IDD. Паноптическая сегментация Одним из…

Восстановление цвета на изображении — это одна из открытых задач в компьютерном зрении. Исследователи из National Tsing Hua University и Virginia Tech обучили модель, которая учитывает распознанные instance-маски объектов при…

В FAIR опубликовали самого крупного чатбота, который поддерживает разговор на любые темы. По результатам опроса, Blender обходит предыдущих опенсорсных чатботов по вовлеченности и человечности. Blender является первым чатботом, которые совмещает…

Большая часть исследований на стыке компьютерного зрения и NLP фокусируется на наборе небольших задач, которые изучаются по отдельности. Однако навыки обработки визуальной и текстовой информации для решения разных задач значительно…

Исследователи из University of Washington опубликовали модель, которая подменяет задний фон на изображении. Алгоритм обходит state-of-the-art подходы. Примерами применений модели является съемка видео или смена заднего фона во время видео-звонков.…

BART — это state-of-the-art нейросеть для суммаризации текстов. Задача абстрактивной суммаризации текстов предполагает, что модель получает на вход текст. На выходе модель. генерирует текст с описанием общих идей из входного…

3D-MiniNet — это нейросеть, которая семантически сегментирует точки в облаке точек, которое было получено с помощью лидара. Модель принимает на вход 3D облако точек сцены и для каждой точки предсказывает…

FaceShifter — это двухступенчатый нейросетевой фреймворк для реалистичного переноса лица на изображение человека. Модель устойчива к окклюзии лиц на входных изображениях. Исследователи заявляют, что FaceShifter лучше, чем предыдущие подходы, сохраняет…