Исследователи из Open AI представили нейросеть MuseNet, которая генерирует четырехминутные музыкальные композиции с использованием 10 разных инструментов. Модель может комбинировать музыку в разных стилях (от кантри до Моцарта). Нейросеть устроена так, что предсказывает следующую ноту. Это позволяет ей самостоятельно выучивать такие концепты, как ритм, жанр, гармония, без необходимости отдельно задавать их при обучении. До 12-го мая можно протестировать прототип MuseNet.
Архитектура MuseNet
Нейросеть обучается с помощью GPT-2. Ранее в этом году Open AI представили GPT-2 — модифицированный трансформер, который предсказывает следующий элемент в последовательности (например, текст). Трансформер — это архитектура, позволяющая генерировать последовательности, учитывая знания о ранее сгенерированной последовательности. На данный момент трансформеры активно используются в задачах NLP и показывают лучшие результаты в сравнении с остальными нейросетевыми архитектурами.
MuseNet использует пересчитанные и оптимизированные ядра Sparse Transformer, чтобы обучить сеть с 72 слоями и механизмом внимания, который состоит из 24 attention heads. Структура механизма внимания — одна из причин, почему модели удается запоминать длинные последовательности композиции и выдерживать композицию в едином стиле.
Данные
Трансформер обучается на последовательных данных: на вход подается набор музыкальных нот, на выходе модель генерирует следующую ноту. Исследователи собрали тренировочные данные из разных ресурсов: ClassicalArchives, BitMidi, MAESTRO и другие публично доступные датасеты.
Подробности обработки и кодирования данных описаны в оригинальной статье.
Протестировать прототип
Прототип веб-приложения на основе MuseNet можно протестировать до 12-го мая. В базовом режиме можно выбрать отдельного композитора или жанр, начало песни, и модель сгенерирует композицию. В продвинутом режиме можно напрямую взаимодействовать с моделью и создавать новые композиции с нуля.
Видеодемонстрацию работы MuseNet можно посмотреть по ссылке.
