Audiocraft — это PyTorch-библиотека с открытым исходным кодом для генерации музыки и звуков из текста, предназначенная для исследований в области генерации аудио с использованием глубокого обучения. Разработчики предоставили код двух state-of-the-art моделей генерации звука: MusicGen и AudioGen.
Что внутри Audiocraft
MusicGen — модель, обученная на лицензированной музыке, впечатляет способностью преобразовывать текстовые подсказки в композиции с уникальными мелодиями и настроением. AudioGen, с другой стороны, обученная на обширной базе публичных звуковых эффектов, создает аудио с выразительной детализацией, будь то реалистичный лай собаки или звук городской суеты.
Однако истинная сила Audiocraft проявляется через нейросетевой кодек EnCodec. Метод, лежащий в основе EnCodec, включает в себя новый подход к моделированию аудио-токенов: исследователи представили авторегрессивную языковую модель, рекурсивно моделирующую аудио-токены.
Уникальность заключается в использовании параллельных потоков токенов, что обеспечивает захват долгосрочных зависимостей в аудио-последовательностях. Этот подход не только позволяет эффективно моделировать аудио-секвенции, но и гарантирует высокое качество звука при генерации.
Разработчики представили улучшенную версию декодера, что привело к еще более высокому качеству генерации музыки с минимальным количеством артефактов. Это открывает новые перспективы в области создания аудио-контента, способного удовлетворить самые взыскательные потребности.
Важно подчеркнуть, что Audiocraft — это не только библиотека моделей. Разработчики активно поддерживают открытый код, предоставляя веса моделей и обучающий код, чтобы обогатить сообщество исследователей и практиков в области генерации звука с помощью нейронных сетей.
