fbpx
  • AR-Net: нейросеть для моделирования временных рядов

    Исследователи из FAIR и Stanford University опубликовали новую нейросетевую архитектуру для моделирования временных рядов. AR-Net комбинирует в себе преимущества традиционных статистических моделей и нейросетей. Моделирование временных рядов применяется для прогнозирования и распознавания аномалий. Классические модели, как авторегрессия (AR), не способны справиться с большими объемами данных для обучения. В особенности это актуально для данных, которые содержат в себе длительные нелинейные зависимости. Несмотря на это, их преимущество по сравнению с нейросетевыми подходами заключается в интерпретируемости модели и ее легковесности.

    Чтобы обойти ограничения по масштабированию статистических моделей, в обработке естественного языка используют sequence-to-sequence модели. В частности методы, которые основаны на RNN. Такие методы позволяют получить более выразительную модель. Несмотря на то, что RNN-методы хорошо масштабируются на большие объемы данных, они могут быть слишком сложными для типичных временных рядов. Это может результировать в невозможность интерпретировать результаты модели. Исследователи фокусируются на необходимости создать масштабируемую и интерпретируемую модель для моделирования временных рядов. AR-Net улучшает классические авторегрессионные модели с помощью дополнительной полносвязной сети. Полносвязная модель не только так же интерпретируема, как и авторегрессия, но и масштабируема и проста в использовании.

    Как работает AR-Net

    Архитектура AR-Net имеет два преимущества перед традиционной статистической моделью:

    • AR-Net может улавливать длительные последовательности зависимостей. Это важно для случаев мониторинга высокочастотных данных;
    • Модель автоматически выбирает и оценивает важные коэффициенты из авторегрессии

     

    Рассмотрим временной ряд  y1 , … , yt, выраженный как процесс в авторегрессионной модели. Чтобы предсказать следующий временной шаг yt, каждая прошлая величина из y умножается на выученный wi вес. Это вес называется коэффициентом авторегрессионной модели. 

    Если учитывается длительный порядок предшествующих данных, традиционные подходы обучаются медленнее. В AR-Net это обходят с помощью обучения нейросети с ст

    Слева: самая простая AR-Net без скрытых слоев. Справа: структура стандартной AR-Net

    охастическим градиентным спуском. Нейросеть выучивает коэффициенты авторегрессионной модели. AR-Net справляется с предсказанием временных рядов так же хорошо, как и статистическая модель. При этом имеет преимущество при обучении модели на высокочастотных данных.