GLIDE: модель OpenAI генерации изображений по тексту

GLIDE — модель OpenAI генерации изображения по его описанию. Модель превосходит DALL-E и при этом имеет в 3 раза меньше параметров. В январе 2021-го года OpenAI представила DALL-E, версию с 12 миллиардами параметров языковой модели GPT-3, предназначенную для создания фотореалистичных изображений с использованием текстовых подписей в качестве подсказок. После этого NVIDIA выпустила свой аналог — GauGAN2.

GLIDE — диффузионная модель, которая обеспечивает производительность, конкурентоспособную с DALL-E, при использовании менее одной трети ее параметров (3.5 млрд параметров против 12 млрд). Недавние исследования показали, что диффузионные модели обладают способностью генерировать высококачественные синтетические изображения.

В дополнение к генерации изображений из текста, GLIDE также можно использовать для редактирования существующих изображений — например, вставки новых объектов, добавления теней и отражений — с помощью текстовых подсказок на естественном языке. Также модель может преобразовывать простые наброски в фотореалистичные изображения.

Код модели выложен на Github, ссылка на репозиторий под статьей.