Google обновили библиотеку для обучения генеративных моделей

TF-GAN — это библиотека от Google для обучения генеративных моделей. Библиотека предоставляет быстрый доступ к ряду архитектур генеративных нейросетей, предобученным моделям и стандартизированным метрикам оценки моделей. В обновленной версии стал доступен открытый онлайн-курс для изучения работы GAN. Библиотека теперь поддерживает TPU вычисления, чтобы ускорить работу модели. TF-GAN была анонсирована в 2017 году.

Новые опции в обновленной версии

В обновленной версии TF-GAN теперь доступны:

TPU вычисления. Теперь можно использовать TF-GAN, чтобы обучать генеративные модели на TPU ресурсах от Google Cloud. TPU — это придуманные в Google схемы вычислений для распределения вычислительных ресурсов при обучении модели. Модели, которые обучаются неделями на GPU, обучаются за несколько часов на TPU;
Курс для изучения работы GAN. Разработчики опубликовали онлайн-курс для самостоятельного изучения генеративных моделей;
Метрики оценки GAN моделей. Исследователи стандартизировали в библиотеке популярные метрики для оценки качества работы моделей;
Примеры использования GAN в открытом доступе. Для некоторых архитектур есть работающие примеры использования. Например, для Self-Attention GAN;
Загрузка пакета через pip install. Разработчики открыли репозиторий библиотеки и опубликовали ее в PyPi;
Тьюториалы по работе с библиотекой в Google Colaboratory;
Совместимость с TensorFlow 2.0, но пока не полностью совместима с Keras. Доступные в Keras модели находятся по ссылке

Кейсы использования TF-GAN

Обучение Self-Attention GAN на TPU

Self-attention GANы выдают state-of-the-art результаты на задаче генерации изображений. Метрики используются Inception Score и Frechet Inception Distance. Разработчики открыли реализации двух версий модели. Одна из них обучается на TPU от Google Cloud. TPU версия по качеству не уступает GPU версии, но обучается в 12 раз быстрее trains.

Слева: метрики как функция каждого шага обучения модели. Справа: метрики как функция времени обучения модели

Расширение границ изображения

Недавно разработчики в Google разработали алгоритм, который расширяет границы изображения с меньшим количеством шума. Ниже видно результат на задаче расширения границ видеозаписи.