• Audiocraft: open source библиотека для генерации музыки и звуков

    audiocraft

    Audiocraft — это PyTorch-библиотека с открытым исходным кодом для генерации музыки и звуков из текста, предназначенная для исследований в области генерации аудио с использованием глубокого обучения. Разработчики предоставили код двух state-of-the-art моделей генерации звука: MusicGen и AudioGen.

    Что внутри Audiocraft

    MusicGen — модель, обученная на лицензированной музыке, впечатляет способностью преобразовывать текстовые подсказки в композиции с уникальными мелодиями и настроением. AudioGen, с другой стороны, обученная на обширной базе публичных звуковых эффектов, создает аудио с выразительной детализацией, будь то реалистичный лай собаки или звук городской суеты.

    Однако истинная сила Audiocraft проявляется через нейросетевой кодек EnCodec. Метод, лежащий в основе EnCodec, включает в себя новый подход к моделированию аудио-токенов: исследователи представили авторегрессивную языковую модель, рекурсивно моделирующую аудио-токены.

    encodec генерация музыки
    Архитектура Encodec

    Уникальность заключается в использовании параллельных потоков токенов, что обеспечивает захват долгосрочных зависимостей в аудио-последовательностях. Этот подход не только позволяет эффективно моделировать аудио-секвенции, но и гарантирует высокое качество звука при генерации.

    Разработчики представили улучшенную версию декодера, что привело к еще более высокому качеству генерации музыки с минимальным количеством артефактов. Это открывает новые перспективы в области создания аудио-контента, способного удовлетворить самые взыскательные потребности.

    Важно подчеркнуть, что Audiocraft — это не только библиотека моделей. Разработчики активно поддерживают открытый код, предоставляя веса моделей и обучающий код, чтобы обогатить сообщество исследователей и практиков в области генерации звука с помощью нейронных сетей.


    neurohive telegram
    Подписаться
    Уведомить о
    guest

    0 Comments
    Старые
    Новые Популярные