Все статьи

Датасеты

Yoga-82: датасет для классификации позы человека на изображении

Yoga-82 — это датасет для классификации позы человека на изображении. Данные состоят из изображений с людьми, которые занимаются йогой. Всего в датасете 82 класса, которые отражают позы из йоги. На…
Фреймворки

NVIDIA опубликовали фреймворк для исследований в области здравоохранения

MONAI — это опенсорсный фреймворк для обучения моделей для задач в области здравоохранения. Разработкой фреймворка занимались NVIDIA и King’s College London. MONAI базируется на существующих инструментах: NVIDIA Clara, NiftyNet, DLTK…
State-of-the-art

12-в-1: одна нейросеть решает 12 задач на стыке компьютерного зрения и NLP

Большая часть исследований на стыке компьютерного зрения и NLP фокусируется на наборе небольших задач, которые изучаются по отдельности. Однако навыки обработки визуальной и текстовой информации для решения разных задач значительно…
Новости

Семантическая пирамида для генерации изображений

Исследователи из Google опубликовали нейросеть для генерации изображений, которая имеет иерархическую структуру. Подход основан на архитектуре генеративно-состязательной сети. Нейросеть использует пространство признаков, которое было предобучено с помощью модели классификации. Фреймворк…
Фреймворки

Detecto: библиотека для распознавания объектов на PyTorch

Detecto —  это библиотека на PyTorch, которая упрощает процесс построения моделей для распознавания объектов на изображении и видеозаписи. Библиотека выступает в качестве легковесной надстройки над PyTorch и сокращает время на…
Приложения

Landing AI разработали инструмент для мониторинга социального дистанцирования

Стартап Landing AI разработал инструмент для мониторинга социального дистанцирования. Landing AI — это стартап Эндрю Ына, исследователя в области машинного обучения. Детектор распознает на видеозаписи людей и выделяет тех, кто…
Новости

Нейросеть учится распознавать объекты на изображении сквозь препятствия

Исследователи обучили нейросеть восстанавливать изображение от перекрывающих объектов: стекло окна, ограда и капли дождя. Модель принимает на вход видеозапись сцены, которую снимали на движущуюся камеру. На выходе модель генерирует изображение…
State-of-the-art

Генеративная нейросеть меняет задний фон на изображении

Исследователи из University of Washington опубликовали модель, которая подменяет задний фон на изображении. Алгоритм обходит state-of-the-art подходы. Примерами применений модели является съемка видео или смена заднего фона во время видео-звонков.…
Новости

Нейросеть распознает ускоряющиеся объекты на видеозаписи

SpeedNet — это сверточная нейросеть, которая предсказывает ускорение или замедление объекта на видеозаписи. Модель обучали на корпусе реальных видеозаписей без ручной разметки. В основе SpeedNet лежит архитектура S3D-G модели. Задача…
Фреймворки

Как очистка данных от ошибок разметки помогает увеличить точность модели

Разработчики из Deepomatic добавили в свою платформу инструмент для поиска ошибок разметки в данных. В популярных датасетах с изображениями VOC и COCO процент неточно размеченных данных превысил 20%. Исправление ошибок…
Датасеты

Waymo используют аугментацию данных для обучения беспилотных автомобилей

Чтобы беспилотный автомобиль безопасно передвигался по дороге, система в автомобиле собирает данные с камер, лидаров и радаров. Ситуации, с которыми автомобиль сталкивается в реальности и в симуляции, используются для обучения…
Фреймворки

Mimicry: библиотека для обучения GAN моделей на PyTorch

Mimicry — это легковесная библиотека на PyTorch для воспроизведения исследований GAN. Задача сравнения GAN моделей затрудняется мелкими отличиями в реализациях и методах оценки разных архитектур. Такие мелкие детали результируют в…
Датасеты

TartanAir: датасет для обучения роботов передвижению

TartanAir — это датасет для обучения робота передвижению. Датасет состоит из мультимодальных данных сенсоров и разметки, которая включает в себя RGB изображения, карты глубины, сегментацию, оптический поток, позиции камер и…
Новости

House-GAN: нейросеть генерирует планировку дома по графу соседства комнат

House-GAN — это нейросетевая генеративно-состязательная модель, которая на основе графа с расположением частей дома генерирует множество возможных планировок дома. Основная идея в House-GAN заключается в том, что бы кодировать ограничения…
Датасеты

Google AI опубликовали датасет для восстановления 3D формы зданий

Исследователи опубликовали датасет с неструктурированными изображениями культурных объектов. Он включает в себя 25 тысяч изображений, каждое из которых содержит информацию о местоположении и наклоне. Данные собирали из открытых источников в…
Новости

CenterTrack: state-of-the-art нейросеть для отслеживания объектов на видеозаписи

CenterTrack — это модель для отслеживания объектов на видеозаписи. Нейросеть принимает на вход текущий кадр, прошлый кадр и тепловую карту с предсказаниями для прошлого кадра. На выходе модель выдает границы…
Новости

Робота обучили передвигаться, как четвероногое животное

Исследователи обучили робота имитировать поведение собаки с помощью обучения с подкреплением. Предложенный фреймворк масштабируется на другие виды животных. Модель получает на вход видеоролик с записью движения животного. На основе входного…
Новости

WaveNetEQ нейросеть улучшает качество аудиозаписи

WaveNetEQ — это генеративная нейросеть, которая восстанавливает утерянные части аудиозаписи во время звонка. Модель основана на архитектуре WaveRNN от DeepMind. Исследователи выучили WaveNetEQ генерировать продолжение короткой аудиозаписи. Результаты модели сопоставимы…
Новости

Нейросеть MetNet предсказывает осадки на ближайшие 8 часов

Google AI опубликовали нейросеть, которая предсказывает атмосферные осадки на ближайшие 8 часов. MetNet обходит систему, которая основана на физических законах и используются в NOAA для предсказания осадков. Предложенная модель способна…
Новости

EOLO: легковесная нейросеть для сегментации объектов на изображении

EOLO — это single-shot нейросеть для instance сегментации объектов на изображении. Модель является полностью сверточной и состоит из 3 независимых частей. Ключевое преимущество EOLO — возможность внедрить модель на мобильные…
Новости

Нейросеть распознает перекрытые объекты на видеозаписи

Представление о постоянстве объектов (Object Permanence) позволяет людям судить о положении объектов, которые закрыты другими объектами и вне зоны видимости. Это происходит через осознание, что объекты продолжают существовать, даже если…