Нейронные сети

Big Transfer — это подход для предобучения представлений изображений. Предобученную модель затем можно использовать для дообучения на собственной задаче. Такой формат обучения называется transfer learning. Использование transfer learning оправдано, в…

IntelliCode Compose — это инструмент для мультиязычного дополнения кода от Microsoft. Система предсказывает синтаксически корректную последовательность токенов кода по контексту предыдущих строчек. Модель обучали на 1.2 миллиардах строчек кода. В…

Предыдущие методы для детализированной оценки глубины человека по видеозаписи часто требуют размеченные тренировочные данные. Исследователи представляют self-supervised метод, который обучается на YouTube без разметки глубины. Это упрощает процесс сбора данных…

Исследователи из Google AI предлагают метод для широкомасштабного представления графов в виде векторов. Понимание различий и схожестей между комплексными датасетами — это один из актуальных вопросов в работе с данными.…

Исследователи из CMU предложили новый метод обучения ML-классификаторов, который схож с тем, как родители обучают детей. Модель сначала учится различать более общие классы объектов. Например, кошек от собак. Затем дообучается…

Исследователи из Virginia Tech и Facebook разработали нейросеть, которая предсказывает глубину кадров видеозаписи. Одним из применений является использование предсказаний нейросети для добавления спецэффектов к видеозаписи. По результатам экспериментов, предложенный подход…

Jukebox — это нейросетевая модель от OpenAI, которая генерирует песни. Модель принимает на вход жанр, артиста и текст песни. На выходе нейросеть отдает аудиозапись с сгенерированной песней. Примеры сгенерированных аудио…

TAPAS — это инструмент для поиска ответа на вопрос в табличных данных. В основе системы лежит архитектура BERT. Модель кодирует вопрос на естественном языке совместно с структурой табличных данных. На…

Исследователи из Google AI предложили метод для обучения модели на множестве функций потерь одновременно. Loss-conditional обучение помогает при отборе оптимального распределения коэффициентов в функции потерь. В части задач машинного обучения…

Adversarial Latent Autoencoder (ALAE) — это нейросетевая модель для генерации изображений. В основе ALAE лежит архитектура автоэнкодера. ALAE учитывает последние улучшения по обучению GAN. Исследователи разработали два автоэнкодера: один с…