Нейронная сеть, созданная группой Калифорнийского университета, впервые обыграла 1300 участников Американского турнира по кроссвордам. Модель была обучена на 6 млн уже решенных кроссвордов и для ответов на вопросы использовала содержание Википедии.
Алгоритм Dr. Fill изначально разрабатывался астрофизиком из Оксфорда Мэттом Гинзбергом. Принцип его работы был аналогичен используемому в шахматном суперкомпьютере Deep Blue, основанном на методах перебора, и не содержал методов глубокого обучения. Впервые Dr. Fill использовался на чемпионатах в 2012-м году, и тогда занял 141-е место. До сих пор наилучший результат – 11-е место – алгоритм показал в 2017-м. Одержать победу в 2021-м году позволили два фактора. Во-первых, Dr. Fill инициализировался не на обычном ноутбуке, а на 64-ядерном процессоре и двух видеокартах. Во-вторых, к улучшению алгоритма подключилась научная группа Калифорнийского университета, выполняющая исследования в области обработки естественного языка.
Видеозапись решения Dr. Fill шести кроссвордов турнира:
Исследователи интегрировали в алгоритм нейронную сеть, аналогичную используемым в голосовых ассистентах, таких как Siri и Alexa. Для обучения Dr. Fill использовалась база данных решенных кроссвордов, состоящая из 6 миллионов пар подсказка-ответ. Для ответов на вопросы в нейросеть была загружено все содержание Википедии. Во время турниров Dr. Fill был отключен от Интернета.
Разработка новой версии Dr. Fill заняла две недели. В то время как исходный алгоритм осуществлял математический анализ сетки, поиск и размещение ответов, нейронная сеть выполняла распознавание скрытых семантических структур в подсказках. Нейросеть в ходе турнира допустила три ошибки, но показала наилучшую скорость ответов – 49 секунд на решение кроссворда. Занявший второе место игрок решил аналогичный кроссворд без ошибок, но за три минуты, что позволило Dr. Fill выиграть с перевесом в 15 очков.
