fbpx
  • ALAE: автоэнкодер генерирует изображения наравне с GAN

    Adversarial Latent Autoencoder (ALAE) — это нейросетевая модель для генерации изображений. В основе ALAE лежит архитектура автоэнкодера. ALAE учитывает последние улучшения по обучению GAN. Исследователи разработали два автоэнкодера: один с генератором основанном на многослойном перцептроне и StyleALAE, в котором в качестве генератора используется генератор из StyleGAN. По результатам экспериментов, StyleALAE генерирует сравнимые по реалистичности изображения с StyleGAN. При этом StyleALAE способна реконструировать и модифицировать лица на изображении.

    Автоэнкодер — это метод обучения без учителя, целью которого возможность генерировать и представлять изображение. Это осуществляется за счет того, что модель выучивает карту энкодера-генератора (encoder-generator map). Несмотря на то, что автоэнкодеры активно исследовались, до сих пор остается открытым вопрос, сравнимы ли они по генеративной способности с GAN. 

    Примеры модификации лица с помощью StyleALAE

    Как устроен ALAE 

    Исследователи предлагают две архитектуры автоэнкодера:

    • Автоэнкодер, в котором в качестве генератора используется многослойный перцептрон;
    • StyleALAE, в котором в качестве генератора используется генератор из StyleGAN

    Энкодер в StyleALAE имеет слои с instance нормализацией (IN), чтобы извлекать информацию о стиле изображения. Эта информация комбинируется со скрытым представлением с помощью обучаемого параметра multilinear map.

    Архитектура ALAE
    Архитектура StyleALAE
    Алгоритм обучения ALAE