Нейросетевая модель дополняет форму объекта на скетче и закрашивает его. Пользователь рисует часть формы объекта, а система выдает рекомендации по форме объекта и его раскраске. Разработкой нейросети занимались исследователи из Adobe Research, University of Oxford и UC Berkeley. Модель выдает более реалистичные результаты, чем предыдущие подходы.
Модель основана на GAN архитектуре. Задача формулируется как перевод наброска в изображение (sketch-to-image). Как только пользователь системы начинает рисовать объект выбранного типа, система выдает множественные рекомендации по завершению рисунка. Это позволяет получать обратную связь от пользователя по рекомендациям. Чтобы использовать одну обученную модель на множестве классов объектов, исследователи предлагают gating-based подход, чтобы учитывать категорию. Такой подход позволяет генерировать отдельные классы объектов в одной нейросети без смешения признаков между классами.
Предыдущие подходы принимали на вход сжатые карты границ объектов на вход. Предложенная модель принимает на вход разреженные упрощенные границы объектов. Этот тип входных данных более походит на тот, что генерируют пользователи при использовании системы.
Архитектура модели
Проблема генерации изображения из скетча делится на два этапа:
- Дополнение формы объекта из разреженных скетчей пользователей;
- Генерация вида объекта на основе его формы, которая получается на выходе модели из прошлого шага
Нейросеть базируется на архитектуре residual Encoder-Decoder. Модель состоит из 3-х сверточных слоев, 8 остаточных блоков и 3-х up-convolutional слоев. Исследователи назвали модель SkinnyResNet.
Оценка модели
Исследователи сравнили SkinnyResNet с моделью, на которой она была основана (residual Encoder-Decoder). Ниже видно, что предложенная нейросеть выдает более точные и реалистичные результаты.
