Александр Шустанов

Neural Interior Designer

Описание проекта

NeuralInteriorDesigner - приложение для дизайнеров, которое переносит работу с изображениями на новый уровень.

Машинное обучение развивается семимильными шагами и позволяет создавать продукты, которые еще 5 лет назад были, что называется, из области фантастики. Многие задачи, которые раньше долго и скрупулезно решали высоквалифициированные специалисты перестают быть такими сложными за счет внедрения искуственного интелекта. Большой интерес представляют генеративные модели, а также состязательные сети, которые могут генерировать контент, зачастую неотличимый от контента, созданного человеком. Программные продукты будущего, скорее всего, буду обладать гораздо более высокоуровневым интерфейсом, чем инструменты, которыми пользуются работники всевозможных областей сейчас.

Уже сейчас существуют программы, которые могут "рисовать за вас", работающие на основе генеративных сетей. Идея приложения - с помощью простых инструментов менять облик комнаты, таким образом как: изменение обоев, потолка, пола; замена одних элементов интерьера на другие, удаление элементов интерьера, добавление элементов интерьера. В этом проекте я попытался показать, как будут выглядеть продукты для дизайнеров в будущем.

Концепция разработанной программы - комплекс решений, которые вместе формируют единый продукт для дизайнеров интерьера. Для этого были выделен круг более мелких задач, реализованных по отдельности, часть из которых была объединена в единую программу - умное выделение объектов (Умная волшебная палочка) + смена их стилей. Также было обученно две модели с помощью которых можно генерировать новые объекты и удалять существующие. Модели доступны в jupyter-notebook.

Ноу-хау: "Умная волшебная палочка". Новый метод выделения области изображения, который работает не с пикселями, а с объектами. 

Для создания генеративных моделей использовался датасет SUNRGBD

Примеры: 

1. Удаление элементов интерьера. В приложение не добавлено, работает из jupyter-notebook.

original altered result

 

2. Умная волшебная палочка. Выделение участков изображения по их семантической близости. Добавлено в приложение. 

magic

 

3. Добавление элементов интерьера. Работает плохо, только из jupyter-notebook. По всей видимости имеет место переобучение, требуются дальнейшие исследования.

input result target

4. Замена обоев, полов. Основано на немного видоизмененном style-tranfer. Добавлено в приложение.

Презентация.

Ноутбук для запуска генеративнных моделей.

Состав команды:

  • Александр Шустанов, Разработчик

Комментарии

Ivan Panin

Для восстановления закрашенных участков есть неплохой подход https://arxiv.org/pdf/1711.10925.pdf . Не сравнивались?

Иван Федоров

Вы не рассматривали вариант интеграции с приложениями, которые уже занимаются примерно этим же? У Икеи есть подобная штука (интерактивная расстановка мебели), в Леруа Мерлен тоже..
Там идет работа с 3D-проектом квартиры, было бы интересней (и скорее всего так было бы проще), если бы по фото можно было получить 3D-проект комнаты,  а делать перестановки уже при помощи API готовых решений)

Александр Шустанов

На самом деле не изучал, есть ли что-то похожее, если когда-нибудь вернусь к этому проекту, то подумаю об этом)

Pavel Mochalov

А насколько хорошо в принципе можно удалять объекты из кадра?

Александр Шустанов

Лучше всего удаляются объекты на фоне стены или пола, ну или просто достаточно однородных поверхностей.

Pavel Mochalov

Для людей, которые сами планируют ремонт, очень даже полезный проект.