Chess Transformer — это языковая модель, которую обучили игре в шахматы. Нейросеть предсказывает следующий ход на основе истории ходов в игре. Transformer-модель обучалась на 2.8 миллионах шахматных партий в Portable Game Notation. Разработчики опубликовали Colab-ноутбук, в котором можно сыграть партию в шахматы с моделью.
Детали обучения
В качестве архитектуры трансформера использовали GPT-2 с 774 миллионами параметров. GPT-2 является state-of-the-art генеративной моделью для задач обработки естественного языка. Разработкой модели занимались исследователи из OpenAI.
Дообучали модель в течение 30 тыс. шагов. Обученная модель корректно фильтрует некорректные ходы и демонстрирует такие стратегии защиты, как, например, Slav Exchange.
Chess Transformer является примером того, что transformer-модели, изначально адаптированные для работы с NLP задачами, способны решать более общие задачи стратегического моделирования.
