Google представила Imagen — модель, трансформирующую текстовое описание в изображение c разрешением 1024×1024 пикселей. Imagen превзошла OpenAI DALL-E 2 по степени реалистичности изображений.
Imagen является комбинацией языковых моделей-трансформеров, используемых для обработки текстового описания, и диффузных моделей для генерации изображений с последовательным улучшением разрешения. Модель была обучена на датасете LAION-400M, содержащем более 400 миллионов пар изображение-текст, взятых из Интернета.
Google протестировала Imagen в сравнении с DALL-E 2 с помощью оценок тестировщиков. По итогам этого теста большинство положительных оценок получила модель Google. Помимо этого, Imagen достигла нового state-of-the-art значения FID 7,27 в датасете COCO, хотя не обучалась на изображениях из этого датасета.
В дополнение к Imagen Google представила комплексных бенчмарк text-to-speech моделей DrawBench. На текущий момент компания решила не выпускать модель в открытый доступ, поскольку она подвержена предвзятости данных из обучающего датасета. Посмотреть примеры сгенерированных изображений можно по ссылке.
