Все статьи

Новости

Wav2letter@anywhere: нейросеть для распознавания речи онлайн от FAIR

Онлайн распознавание речи — это задача транскрибирования речи в реальном времени из входного потока аудиоданных. FAIR опубликовали нейросетевую модель, которая обходит state-of-the-art подходы для онлайн распознавания речи на датасете LibriSpeech.…
Новости

HybridPose: нейросеть распознает позу объекта в 6D

HybridPose — это нейросетевая модель для распознавания позы объекта в 6D. Модель принимает на вход изображение объекта и предсказывает ключевые точки, векторы границ и отношение позы объекта относительно его стандартного…
Новости

FNNP: уменьшение размера нейросети с помощью батч-нормализации

FNNP — это алгоритм для сокращения размера обученной нейросети. Во время экспериментов исследователи сокращали размер MobileNet V1 и ResNet-50. FNNP обошла предыдущие подходы на 3.8% по итоговой точности предсказаний уменьшенной…
State-of-the-art

BlendMask: нейросеть обходит state-of-the-art на задаче сегментации объектов

BlendMask — это нейросетевая модель для instance сегментации объектов на изображении. Модель выдает более точные границы объектов, чем Mask R-CNN, на COCO датасете при схожих параметрах обучения. При этом BlendMask…
Датасеты

Libri-light: датасет для unsupervised распознавания речи от FAIR

FAIR опубликовали самый крупный датасет для распознавания речи. Libri-light содержит 60 тысяч часов неразмеченной речи на английском языке.  Данные для Libri-light собирали из общедоступных аудиофайлов и адаптировали для задачи автоматического…
Новости

Как глубокое обучение с подкреплением используется в видео-играх

В глубоком обучении с подкреплением (DRL) агенты принимают на вход многомерные данные и используют нейросетевые политики, чтобы совершать действия. При таком устройстве обучения политика, в соответствии с которой выбираются действия,…
Новости

nnAudio: инструмент для генерации спектрограммы во время обучения модели

nnAudio — это опенсорс инструмент на Pytorch для обработки аудиозаписей с помощью однослойной сверточной сети. С помощью nnAudio можно генерировать спектрограммы на ходу во время обучения нейросети. Библиотека построена на…
Датасеты

SketchTransfer: датасет для обучения нейросетей обобщению

SketchTransfer — это датасет для обучения нейросетей обобщению с помощью transfer learning. Данные состоят из реальных размеченных изображений и не размеченных скетчей. Стандартные state-of-the-art подходы, которые получают точность 95% на…
Новости

Нейросеть классифицирует фейковые и реальные изображения

Исследователи из UC Berkeley и Adobe Research обучили нейросетевой классификатор, который определяет фейковые изображения. Классификатор обучался на сгенерированных одной моделью изображениях. При этом он обобщается на изображения, которые были сгенерированы…
Новости

Нейросеть генерирует аудиозапись с пением на основе обычного голоса

В Tencent AI разработали нейросетевой алгоритм для генерации аудиозаписи с пением человека на основе его обычного голоса. Алгоритм основывается на архитектуре DurIAN. Примеры сгенерированных аудиозаписей доступны по ссылке. Предложенный алгоритм…
Новости

MGT: графовая нейросеть для распознавания набросков

MGT — это архитектура нейросети, которая адаптирована для распознавания набросков. Модель обрабатывает наброски в виде графов. MGT выучивает геометрические и временные признаки рисунков. Предложенный подход протестировали на датасете Google QuickDraw.…
Новости

SynSin: end-to-end генерация сцены на основе одного изображения

SynSin — это нейросеть, которая принимает на вход изображение сцены и генерирует изображения данной сцены в других ракурсах. Модель предсказывает 3D облако точек, которые проецируется на новые ракурсы с помощью…
Новости

Робот имитирует поведение человека с помощью нейросети

AVID — это метод для обучения роботов действиям через воображение и наблюдение за людьми. Модель принимает на вход видео с демонстрацией действия человеком и генерирует видео с демонстрацией роботом. Исследователи…
Новости

FastSpeech: модель для генерации речи из текста от Microsoft

FastSpeech — это нейросетевая модель для генерации речи из текста. Нейросеть работает на инференсе быстрее state-of-the-art подходов в 38 раз. Зачем нужна FastSpeech Нейросетевые модели на текущий момент являются state-of-the-art…
Датасеты

STAPLE: соревнование по машинному переводу от Duolingo

Duolingo анонсировали соревнование по машинному переводу STAPLE. На текущий момент большинство систем по машинному переводу выдают один перевод входной последовательности. В Duolingo пользователь обучается языку с помощью упражнений по переводу.…
Новости

Датасет для распознавания данных не из обучающей выборки

Исследователи из Google Research предложили метод для распознавания объектов, которые сильно отличаются от объектов из обучающей выборки. Likelihood ratio — это метрика, которая минимизирует влияние заднего фона на предсказание и…
Новости

Как обучают нейросетевые модели для распознавания речи

Разработка разговорных систем состоит из трех шагов: обработка и траскрибирование аудиозаписи, понимание поставленного вопроса и генерация ответа в виде текста. Первый шаг достигается с помощью модели для распознавания речи. На…
State-of-the-art

SpineNet: архитектура для распознавания и локализации объекта на изображении

SpineNet — это backbone нейросетевая архитектура для задачи распознавания объекта. Разработкой модели занимались исследователи из Google Research. Модель обходит state-of-the-art подходы на задаче распознавания объектов на данных COCO. При этом…
Новости

SMiRL: минимизация неожиданности для RL-агентов в динамических средах

Живые организмы стараются найти такое состояние, в котором поддерживается постоянство внутренней среды (гомеостаз). Исследователи предположили, что такой поиск постоянства среди хаоса применим к искусственным агентам. SMiRL — это алгоритм минимизации…
Фреймворки

face.evoLVe: библиотека для распознавания лиц на PyTorch

face.evoLVe — это библиотека на PyTorch для распознавания лиц с помощью state-of-the-art архитектур. В библиотеке доступны предобученные модели и данные, на которых обучались модели. Нейросети из face.evoLVe выдают state-of-the-art результаты…