В Microsoft разработали нейросеть, которая восстанавливает старые поврежденные снимки. Предложенная модель использует два вариационных автоэнкодера (VAEs). Модель учится восстанавливать фотографии на основе реальных и синтетических снимков.
Подробнее про подход
Исследователи использовали вариационные автоэнкодеры, чтобы обучить компактные латентные представления изображений. Первый автоэнкодер обучали на реальных и синтетических изображениях. Второй — на неповрежденных изображениях. Так модель обучалась восстанавливать повреждения на фото.
Исследователи использовали датасет Pascal-VOC для создания синтетических старых снимков. На изображения накладывали реалистичные дефекты. Кроме того, они собрали около 5.7 тысяч старых фото для датасета с реальными изображениями.
Предложенный метод сравнивали с такими базовыми моделями, как: Pix2Pix, deep image prior models, CycleGAN и т.п.. По результатам экспериментов, предложенный подход успешно восстанавливает снимки. Кроме того, у метода более высокая обобщающая способность, чем у базовых моделей.
