fbpx
  • EvoStrat: библиотека для обучения эволюционных алгоритмов

    EvoStrat — это опенсорсная библиотека для обучения эволюционных алгоритмов. Библиотека предоставляет интерфейс для применения эволюционных стратегий в задачах обучения с подкреплением.

    Эволюционные алгоритмы

    Эволюционные стратегии являются подходом для решения задач обучения с подкреплением и других проблем оптимизации, где градиенты не могут быть рассчитаны с помощью метода обратного распространения ошибки. 

    Эволюционную стратегию от генетического алгоритма отличает то, что первая работает с векторами действительных чисел. В эволюционной стратегии вначале происходит мутация и скрещивание особей для получения потомков. После появления потомков происходит отбор особей с лучшими параметрами из поколения родителей и потомков. Затем процедура повторяется. Так происходит, пока алгоритм не сойдется к особи или особям с оптимальным набором параметров. В эволюционном алгоритме целевая функция состоит в максимизации ожидаемой приспособленности.

    Подробнее про библиотеку

    Библиотека предоставляет:

    • Гибкий интерфейс для эволюционных стратегий, в котором среда, RL-агент, распределение популяции и оптимизационная часть разделяются;
    • Простота в тестировании RL-агентов и сетей для обучения политикам;
    • Несколько видов популяций;
    • Independent Normal, аналогично эволюционному алгоритму OpenAI или PEPG;
    • Multivariate Normal с ковариационной матрицей, схоже с CMA-ES;
    • Возможность работать с агентами, у которых категориальные параметры;
    • Интерфейс для создания своих популяций без подсчета градиентов