BiT: подход для обучения представлений изображений

23 мая 2020

BiT: подход для обучения представлений изображений

Big Transfer — это подход для предобучения представлений изображений. Предобученную модель затем можно использовать для дообучения на собственной задаче. Такой формат обучения называется transfer learning. Использование transfer learning оправдано, в…

IntelliCode Compose: нейросеть дополняет код с помощью Transformer

23 мая 2020

IntelliCode Compose: нейросеть дополняет код с помощью Transformer

IntelliCode Compose — это инструмент для мультиязычного дополнения кода от Microsoft. Система предсказывает синтаксически корректную последовательность токенов кода по контексту предыдущих строчек. Модель обучали на 1.2 миллиардах строчек кода. В…

Нейросеть восстанавливает 3D-модель человека из видеозаписи

9 мая 2020

Нейросеть восстанавливает 3D-модель человека из видеозаписи

Предыдущие методы для детализированной оценки глубины человека по видеозаписи часто требуют размеченные тренировочные данные. Исследователи представляют self-supervised метод, который обучается на YouTube без разметки глубины. Это упрощает процесс сбора данных…

SLaQ: модель для векторного представления графов

8 мая 2020

SLaQ: модель для векторного представления графов

Исследователи из Google AI предлагают метод для широкомасштабного представления графов в виде векторов. Понимание различий и схожестей между комплексными датасетами — это один из актуальных вопросов в работе с данными.…

Нейросеть учится классифицировать объекты, как ребенок

7 мая 2020

Нейросеть учится классифицировать объекты, как ребенок

Исследователи из CMU предложили новый метод обучения ML-классификаторов, который схож с тем, как родители обучают детей. Модель сначала учится различать более общие классы объектов. Например, кошек от собак. Затем дообучается…

Нейросеть предсказывает глубину сцены на видеозаписи

2 мая 2020

Нейросеть предсказывает глубину сцены на видеозаписи

Исследователи из Virginia Tech и Facebook разработали нейросеть, которая предсказывает глубину кадров видеозаписи. Одним из применений является использование предсказаний нейросети для добавления спецэффектов к видеозаписи. По результатам экспериментов, предложенный подход…

Jukebox: нейросеть от OpenAI генерирует песни

1 мая 2020

Jukebox: нейросеть от OpenAI генерирует песни

Jukebox — это нейросетевая модель от OpenAI, которая генерирует песни. Модель принимает на вход жанр, артиста и текст песни. На выходе нейросеть отдает аудиозапись с сгенерированной песней. Примеры сгенерированных аудио…

TAPAS: поиск ответа на вопрос в табличных данных с помощью BERT

30 апреля 2020

TAPAS: поиск ответа на вопрос в табличных данных с помощью BERT

TAPAS — это инструмент для поиска ответа на вопрос в табличных данных. В основе системы лежит архитектура BERT. Модель кодирует вопрос на естественном языке совместно с структурой табличных данных. На…

Как обучать модель с несколькими функциями потерь одновременно

30 апреля 2020

Как обучать модель с несколькими функциями потерь одновременно

Исследователи из Google AI предложили метод для обучения модели на множестве функций потерь одновременно. Loss-conditional обучение помогает при отборе оптимального распределения коэффициентов в функции потерь. В части задач машинного обучения…

ALAE: автоэнкодер генерирует изображения наравне с GAN

30 апреля 2020

ALAE: автоэнкодер генерирует изображения наравне с GAN

Adversarial Latent Autoencoder (ALAE) — это нейросетевая модель для генерации изображений. В основе ALAE лежит архитектура автоэнкодера. ALAE учитывает последние улучшения по обучению GAN. Исследователи разработали два автоэнкодера: один с…

Семантическая пирамида для генерации изображений

25 апреля 2020

Семантическая пирамида для генерации изображений

Исследователи из Google опубликовали нейросеть для генерации изображений, которая имеет иерархическую структуру. Подход основан на архитектуре генеративно-состязательной сети. Нейросеть использует пространство признаков, которое было предобучено с помощью модели классификации. Фреймворк…

Нейросеть учится распознавать объекты на изображении сквозь препятствия

18 апреля 2020

Нейросеть учится распознавать объекты на изображении сквозь препятствия

Исследователи обучили нейросеть восстанавливать изображение от перекрывающих объектов: стекло окна, ограда и капли дождя. Модель принимает на вход видеозапись сцены, которую снимали на движущуюся камеру. На выходе модель генерирует изображение…

Нейросеть распознает ускоряющиеся объекты на видеозаписи

18 апреля 2020

Нейросеть распознает ускоряющиеся объекты на видеозаписи

SpeedNet — это сверточная нейросеть, которая предсказывает ускорение или замедление объекта на видеозаписи. Модель обучали на корпусе реальных видеозаписей без ручной разметки. В основе SpeedNet лежит архитектура S3D-G модели. Задача…

House-GAN: нейросеть генерирует планировку дома по графу соседства комнат

13 апреля 2020

House-GAN: нейросеть генерирует планировку дома по графу соседства комнат

House-GAN — это нейросетевая генеративно-состязательная модель, которая на основе графа с расположением частей дома генерирует множество возможных планировок дома. Основная идея в House-GAN заключается в том, что бы кодировать ограничения…

CenterTrack: state-of-the-art нейросеть для отслеживания объектов на видеозаписи

7 апреля 2020

CenterTrack: state-of-the-art нейросеть для отслеживания объектов на видеозаписи

CenterTrack — это модель для отслеживания объектов на видеозаписи. Нейросеть принимает на вход текущий кадр, прошлый кадр и тепловую карту с предсказаниями для прошлого кадра. На выходе модель выдает границы…

Робота обучили передвигаться, как четвероногое животное

7 апреля 2020

Робота обучили передвигаться, как четвероногое животное

Исследователи из UC Berkley обучили робота имитировать поведение собаки с помощью обучения с подкреплением. Предложенный фреймворк масштабируется на другие виды животных. Модель получает на вход видеоролик с записью движения животного.…

WaveNetEQ нейросеть улучшает качество аудиозаписи

2 апреля 2020

WaveNetEQ нейросеть улучшает качество аудиозаписи

WaveNetEQ — это генеративная нейросеть, которая восстанавливает утерянные части аудиозаписи во время звонка. Модель основана на архитектуре WaveRNN от DeepMind. Исследователи выучили WaveNetEQ генерировать продолжение короткой аудиозаписи. Результаты модели сопоставимы…

Нейросеть MetNet предсказывает осадки на ближайшие 8 часов

2 апреля 2020

Нейросеть MetNet предсказывает осадки на ближайшие 8 часов

Google AI опубликовали нейросеть, которая предсказывает атмосферные осадки на ближайшие 8 часов. MetNet обходит систему, которая основана на физических законах и используются в NOAA для предсказания осадков. Предложенная модель способна…

EOLO: легковесная нейросеть для сегментации объектов на изображении

2 апреля 2020

EOLO: легковесная нейросеть для сегментации объектов на изображении

EOLO — это single-shot нейросеть для instance сегментации объектов на изображении. Модель является полностью сверточной и состоит из 3 независимых частей. Ключевое преимущество EOLO — возможность внедрить модель на мобильные…

Нейросеть распознает перекрытые объекты на видеозаписи

1 апреля 2020

Нейросеть распознает перекрытые объекты на видеозаписи

Представление о постоянстве объектов (Object Permanence) позволяет людям судить о положении объектов, которые закрыты другими объектами и вне зоны видимости. Это происходит через осознание, что объекты продолжают существовать, даже если…

COVID-Net: нейросеть распознает наличие вируса по снимку груди

1 апреля 2020

COVID-Net: нейросеть распознает наличие вируса по снимку груди

COVID-Net — это глубокая сверточная нейросеть, которая распознает наличие COVID-19 по рентгеновскому снимку груди. Исследователи обучали модель на датасете с 5941 рентгеновскими снимками 2839 пациентов. Для части пациентов из выборки…