fbpx
  • Нейросеть восстанавливает поврежденные снимки

    В Microsoft разработали нейросеть, которая восстанавливает старые поврежденные снимки. Предложенная модель использует два вариационных автоэнкодера (VAEs). Модель учится восстанавливать фотографии на основе реальных и синтетических снимков.

    Подробнее про подход

    Исследователи использовали вариационные автоэнкодеры, чтобы обучить компактные латентные представления изображений. Первый автоэнкодер обучали на реальных и синтетических изображениях. Второй — на неповрежденных изображениях. Так модель обучалась восстанавливать повреждения на фото.

    Визуализация структуры фреймворка

    Исследователи использовали датасет Pascal-VOC для создания синтетических старых снимков. На изображения накладывали реалистичные дефекты. Кроме того, они собрали около 5.7 тысяч старых фото для датасета с реальными изображениями.

    Предложенный метод сравнивали с такими базовыми моделями, как: Pix2Pix, deep image prior models, CycleGAN и т.п.. По результатам экспериментов, предложенный подход успешно восстанавливает снимки. Кроме того, у метода более высокая обобщающая способность, чем у базовых моделей.