Команда разработчиков Google AI представили Piano Genie — 8-клавишный контроллер на основе нейронных сетей для импровизации на фортепиано. Интерактивная демо-версия есть в открытом доступе.
Посмотрите импровизацию на Piano Genie, которую опубликовали разработчики контроллера:
Как работает Piano Genie
После первичного нажатия на кнопку контроллера проигрывается одна из 88 нот на фортепиано. Двунаправленная RNN с LTSM кодирует монофонические последовательности фортепиано (88-мерные) в дискретные скрытые переменные (4-мерные). После чего однонаправленный декодер обучается декодировать последовательность нажатия кнопок обратно в музыку. Во время импровизации вывод энкодера заменяется последовательностью нажатия клавиш на контроллере — человек задаёт последовательности, а декодер связывает полученные комбинации с выученными ранее.
Нейросеть обучалась на 1400 записях фортепианных выступлений конкурса International Piano-e-Competition. «Мы считаем, что автоэнкодеры — многообещающая находка для обучения сопоставлений между сложными и простыми интерфейсами, и надеемся, что наша работа будет способствовать будущим исследованиям в этой области» — написали исследователи в статье.
Работа опубликована на ArXiv. Исходный код модели доступен на GitHub. Протестировать онлайн-версию можно здесь.
Интересные статьи:
- Сведение треков при помощи генеративных нейронных сетей
- Оценка глубины на изображении при помощи Encoder-Decoder сетей
- Как работает вариационный автоэнкодер (VAE)
