Все статьи

Новости

Neural Voice Puppetry: нейросеть генерирует видеозапись по записи речи

Neural Voice Puppetry — это нейросеть для генерации видеозаписи говорящего человека по аудиозаписи речи. На вход модель получает аудиозапись целевой персоны или запись голоса виртуального ассистента. Задача модели в том,…
Новости

StyleGAN2: улучшенная нейросеть для генерации лиц людей

Архитектуры генеративно-состязательных сетей, которые основываются на стиле, выдают state-of-the-art результаты на задачах генерации изображений. Исследователи из Nvidia опубликовали обновленную версию нейросети StyleGAN, — StyleGAN2. StyleGAN2 генерирует более реалистичные изображения с…
Датасеты

ObjectNet: датасет с объектами, которые сложно распознать нейросети

ObjectNet — это датасет для задач компьютерного зрения. В ObjectNet нет разделения на обучающую и тестовую выборки, доступна только тестовая. С помощью датасета можно проверить обобщающую способность обученной нейросети. Созданием…
Новости

ClassyVision: фреймворк для классификации изображений и видеозаписей

ClassyVision — это фреймворк на PyTorch для широкомасштабного обучения state-of-the-art моделей для классификации изображений и видеозаписей. Разработкой фреймворка занимались исследователи из FAIR. Фреймворк публично доступен в репозитории на GitHub. Особенности…
Новости

Как transfer learning работает для задач с медицинскими снимками

Transfer learning — это метод обучения нейросетей, когда знания нейросети, которая была обучена на одной задаче, переносятся на другую задачу. Такой двухступенчатый метод нашел широкое применение в задачах компьютерного зрения…
Локальный запуск

Оценка эффективности инференса нейронных сетей

Развитие рынка нейронных сетей подразумевает под собой удешевление стоимости железа при постоянном росте производительности. Обычно нейронная сеть проходит три жизненных этапа: обучение, деплой и инференс. Если про обучение и деплой…
State-of-the-art

Бот от FAIR научился играть в кооперативные игры со скрытой информацией

В FAIR агента обучили играть в кооперативную карточную игру Ханаби. Ханаби является базовой задачей для обучения игровых агентов, потому что содержит в себе и кооперацию, и скрытую информацию. Бот обыгрывает…
Фреймворки

Metaflow: фреймворк для управления data science проектами от Netflix

Netflix опубликовали фреймворк на Python для создания и управления data science проектов. Metaflow представляет собой API к инфраструктуре для запуска ML пайплайнов: от прототипирования до внедрения в продукт. Библиотека была…
Новости

Нейросеть генерирует видеозапись с движениями человека по одному изображению

Исследователи из Adobe Research обучили нейросеть, которая переносит движения тела одного человека на другого с помощью видеозаписей танцев. Модель состоит из двух генеративных нейросетей: сеть, которая синтезирует реалистичные кадры с…
Новости

AR-Net: нейросеть для моделирования временных рядов

Исследователи из FAIR опубликовали новую нейросетевую архитектуру для моделирования временных рядов. AR-Net комбинирует в себе преимущества традиционных статистических моделей и нейросетей. Моделирование временных рядов применяется для прогнозирования и распознавания аномалий.…
Новости

Модель от DeepMind учится играть одновременно в шахматы, Atari, Go и Shogi

MuZero — RL-алгоритм, который основан на AlphaZero и позволяет встроить в процесс обучения выученную модель. Разработкой алгоритма занимались исследователи из DeepMind. MuZero выдает state-of-the-art результаты для игры Atari 2600 и…
Новости

Handtrack.js: распознавание рук в браузере с помощью TensorFlow.js

Handtrack.js — это библиотека на TensorFlow.js для распознавания действий рук в реальном времени в браузере Процесс создания библиотеки состоял из 4 шагов: сбор данных, обучение модели, конвертация модели и inference…
State-of-the-art

Нейросеть распознает действие на видео в реальном времени

YOWO — это сверточная нейросетевая архитектура для распознавания действия на видео в реальном времени. Предыдущие походы использовали для решения этой задачи несколько моделей, предсказания с которых объединялись с помощью еще…
Датасеты

OOPS: датасет для распознавания непреднамеренных действия на видеозаписи

OOPS — это датасет с видеозаписями действий людей, который предназначен для распознавания непреднамеренных действий. Созданием датасета занимались исследователи из Columbia University. Исследователи обучили базовую модель с учителем и сравнили ее…
Новости

DREAM: нейросеть распознает позу робота по одному изображению

DREAM — это нейросетевая модель для распознавания позы робота по одному снимку. Разработкой модели занимались исследователи из CMU и NVIDIA. Модель получает на вход RGB изображение. На выходе нейросеть выдает…
Новости

Какая информация в нейросети теряется, когда сокращают ее размер

Исследователи из Google Brain предложили фреймворк для поиска классов и изображений в данных, для которых уменьшенная и оригинальная нейросети сильнее всего расходятся в предсказаниях. Pruning Identified Exemplars (PIEs) — это…
Новости

CleanLab: библиотека для поиска неверно размеченных данных

CleanLab — это библиотека на Python для поиска неверно размеченных данных с помощью машинного обучения. Библиотека чистит данные от ложно присвоенных классов и помогает обучать модели на шумных данных. В…
Новости

RecSys: симулятор рекомендательной системы от Google AI

RecSys — это платформа для симуляции рекомендательной системы с возможностями конфигурации. Разработкой платформы занимались исследователи из Google AI. Успехи в машинном обучении, распознавании речи и обработке естественного языка трансформируют то,…
Новости

Нейросеть анимирует персонажей в игровой среде

Исследователи из University of Edinburgh обучили нейросетевую модель анимировать игровых персонажей. Нейросеть предсказывает, как персонаж должен взаимодействовать со средой, чтобы выполнить какое-то действие. Среди действий — такие, как сидеть, стоять,…
Новости

MarioNETte: нейросеть меняет выражение лица на изображении

Генеративная нейросеть MarioNETte меняет выражение лица человека на изображении. На вход нейросети дополнительно подается выражение лица, которое необходимо перенести. MarioNETte обходит state-of-the-art подходы и генерирует более реалистичные изображения. Разработкой модели…