Все статьи

State-of-the-art

Нейросеть адаптирует видео с говорящим лицо под аудиозапись речи

Wav2Lip — это нейросеть, которая адаптирует видео с говорящим лицо под аудиозапись речи. Предложенная нейросеть обходит state-of-the-art подходы на задаче синхронизации губ человека на видеозаписи с аудидорожкой. Ограничения прошлых подходов…
Фреймворки

TF-Coder: инструмент для написания кода на TensorFlow

TF-Coder — это инструмент для ассистирования в написании кода на TensorFlow. TensorFlow Coder облегчает процесс вычислений над тензорами. Инструме по примеру входных и выходных данных от пользователя рекомендует подходящую TensorFlow…
Датасеты

Google AI опубликовали датасет для тестирования моделей на устойчивость к шуму

Исследователи из Google AI опубликовали первый датасет для тестирования устойчивости моделей к шумным данным. Кроме датасета, исследователи опубликовали модель классификации для шумных данных. MentorMix обходит state-of-the-art подходы для шумных данных…
Фреймворки

Torchcsprng: библиотека для безопасной генерации случайных чисел

Torchcsprng — расширение PyTorch для C++/CUDA для криптографически безопасной генерации случайных чисел. Одним из ключевых компонентов криптографии является генератор псевдослучайных чисел. Использование плохо спроектированного генератора рандомных чисел оставляет криптосистему уязвимой…
Приложения

Semantic Reactor: плагин для тестирования NLP-моделей в Google Таблицах

Semantic Reactor — это плагин в Google Таблицах для быстрого тестирования NLP-моделей на своих данных. На данный момент в плагине доступны три NLU модели понимания языка. Быстрое прототипирование моделей машинного…
Фреймворки

DoWhy: библиотека для причинного вывода от Microsoft

DoWhy — это библиотека для поиска причинно-следственных связей от Microsoft. Сложности поиска причинно-следственных связей Текущие методы поиска связей в данных представляют упрощенную версию каузального объяснения. Большинство моделей, которые пытаются искать…
Новости

Atlas: нейросеть реконструирует 3D сцену на изображении

Atlas — это нейросетевая модель, которая реконструирует 3D сцену на изображении. Нейросеть восстанавливает 3D модель сцены по RGB изображениям сцены. Разработкой модели занимались исследователи из Magic Leap.  Ограничения прошлых моделей…
State-of-the-art

PEGASUS: Transformer для предобучения на задаче суммаризации

PEGASUS — это метод предобучения для задачи абстрактивной суммаризации. Базовая архитектура PEGASUS состоит из Transformer-модели с энкодером и декодером. Во время обучения модель оптимизирует два функционала ошибки: GSG и MLM.…
Новости

Нейросеть предсказывает направленные границы объектов на изображениях с воздуха

Исследователи из Rutgers University предложили архитектуру сети, которая предсказывает направленные границы объектов на изображениях с воздуха. Модель выдает сравнимые с state-of-the-art подходами результаты. Описание проблемы Ориентированное распознавание объектов на изображениях…
Датасеты

WebDataset: библиотека для работы с большими датасетами

WebDataset — это открытая библиотека для PyTorch, которая упрощает работу с крупными датасетами для машинного обучения. В WebDataset датасет представляется в формате POSIX tar архивов. Библиотека напрямую использует эти архивы…
Приложения

Как PyTorch используют в сельскохозяйственной технике

PyTorch помогает во внедрении машинного обучения в новое поколение сельскохозяйственной техники. Для фермеров сорняк представляет угрозу здоровью урожая. С увеличением численности населения спрос на продовольствие растет, при этом земельные и…
Приложения

LIT: опенсорс инструмент для интерпретации NLP-моделей

LIT — это опенсорс визуальный и интерактивный инструмент для интерпретации NLP-моделей. Подробнее про библиотеку Функционал LIT позволяет ответить на такие вопросы, как: Для каких объектов данных модель выдает неточные предсказания;…
Фреймворки

LMM: нейросеть анимирует персонажей в видеоигре

Исследователи из Ubisoft предложили альтернативу Motion Matching алгоритму для автоматизированной анимации персонажей. Learned Motion Matching подход сочетает в себе преимущества классического Motion Learning алгоритма и нейросетей. Итоговая модель не хранит…
Фреймворки

PyGAD: библиотека для имплементации генетического алгоритма

PyGAD — это библиотека для имплементации генетического алгоритма. Кроме того, библиотека предоставляет доступ к оптимизированным реализациям алгоритмов машинного обучения. PyGAD разрабатывали на Python 3. Подробнее про фреймворк Библиотека PyGAD поддерживает…
Приложения

Lookout: распознавание продуктов из супермаркета на девайсе

Исследователи из Google AI обучили нейросеть, которая распознает продукты из супермаркета. Предсказания модель делать полностью на мобильном устройстве в реальном времени. Систему внедрили в Android приложение Lookout. Когда пользователь направляет…
Новости

PixelSSL: библиотека для pixel-wise задач компьютерного зрения

PixelSSL — это библиотека для попиксельных задач компьютерного зрения. Библиотека облегчает обучение моделей с частичным привлечением учителя (semi-supervised). На данный момент PixelSSL поддерживает только задачу сегментации объектов. В библиотеки доступны…
Виды нейросетей

Google опубликовали API для оптимизации TensorFlow моделей

Google опубликовали API для оптимизации TensorFlow моделей. API позволяет сокращать размер модели с помощью методов кластеризации весов, прунинга и квантизации. Использование кластеризации весов сокращает использование памяти и увеличивает скорость работы…
Новости

Нейросеть моделирует процесс старения человека по изображению

Исследователи из University of Washington разработали нейросеть, которая по изображению моделирует процесс старения и омоложения лица человека. На вход модель получает фото лица младенца. На выходе нейросеть генерирует изображения прогрессивно…
Датасеты

В FAIR нашли пересечения данных в популярных QA датасетах

Задача open domain вопросно-ответных систем предполагает, что модель умеет отвечать на новые вопросы с помощью знаний, выученных во время обучения. Кроме того, модель должна уметь генерализовать имеющиеся знания для ответа…