fbpx
  • Mvfst-rl: как контролировать перегрузку сети с помощью RL-агента

    Mvfst-rl — это платформа для обучения и внедрения RL-агентов, которые контролируют перегрузку сети. RL-агент обучается адаптироваться к изменению паттернов нагрузки на сеть. 

    Mvfst-rl использует PyTorch для обучения агента. Инструмент разработали поверх mvfst. Mvfst является открытой имплементацией транспортного протокола Internet Engineering Task Force’s QUIC. Перегрузка сети — это проблема снижения качества обслуживания, которая возникает, когда сетевой узел или линия связи переносит больше данных, чем может обрабатывать. Интеграция платформы с mvfst позволяет эффективный перенос обученных RL-агентов из исследовательского окружения в реальный продукт.

    Как работает mvfst-rl

    Существующие RL-среды для исследования перегрузки сети несовместимы с реальными юзкейсами. Это связано с тем, что они используют RL-интерфейсы с агентами, которые блокируют отправителя сети. Такой дизайн среды является артефактом того, что RL-фреймворки изначально разрабатывались для исследования игр. В случае с играми ограничения ресурсов иначе влияют на систему и агента, чем в случае с реальными широкомасштабными системами. Задержка в несколько миллисекунд негативно сказывается на эффективность системы.

    Взаимодействия RL-агента и архитектура обучения модели

    Mvfst-rl основан на идее обучения асинхронного RL-агента, который контролирует паттерны сетевого трафика. Агент справляется с отложенными действиями. Система аккумулирует статистику сети и отправляет обновленное состояние RL-агенту асинхронно. Как только агент получает данные policy, состояние обновляется. Это позволяет среде сети принимать решения по контролю за перегрузкой на основании RL policy без введения задержек.