Игорь Токарев

Vis-a-Vis - новое измерение живого общения. (машинное обучение в распознавании лиц)

Описание проекта

Vis-a-Vis - новое измерение живого общения!

Цель проекта: создание совершенно новой платформы для знакомств/встреч/создания места ведения переговоров. Раньше подобных проектов не создавалось.

Пользователи путешествуют по комнатам, общаются в реальном времени путём передачи видео и аудио потоков. Для того, чтобы процесс был более разнообразным, включены такие игровые элементы, как набор баллов путём сбора игровых элементов в разных комнатах/наложение эффектов на лица в процессе общения.


Больше скриншотов:

Распознавание образов здесь применяется для того, чтобы разнообразить процесс общения, а так же в качестве элемента управления.

На текущий момент в приложении применяется машинное обучение (Constrained Local Models) в следующем контексте:

  • для того, чтобы увидеть другого пользователя и набрать баллы необходимо при подлёте к нему улыбнуться.
  • сейчас разрабатывается состязательный элемент, когда пользователям необходимо выражая эмоции зажигать элементы сцены.
  • на текущем этапе внедряются нейронные сети для управления ботами-охотниками.

 

Пример комнаты, в которой на пользователей нападают враги, от которых нужно спастись:

Приложение создано с использованием технологий:

  • библиотеки Three.js
  • технологии WebRTC для передачи Видео и Аудио потоков.
  • Node.js сервер.

Луч, который человек может активиросать своей улыбкой, который заставляет окружающие элемены подсвечиваться:

Для распознавания лиц используются методы Машинного Обучения, в частности алгоритм Constrained Local Models и библиотеки clmtrackr.

!Приложение находится в процессе интенсивной разработки с начала хакатона, потому, что-то постоянно обновляется/добавляется и может быть не отражено в видео!

 

Состав команды:

  • Игорь Токарев, Разработчик и создатель идеи

Комментарии

Иван Бондаренко

Игорь, а как запустить, не подскажете? Вы не могли бы добавить инструкцию по установке и настройке?
И вы не могли бы чуть более подробно раскрыть чем практическую применимость проекта?

И ещё вопрос об алгоритмах? А где здесь применяются нейронные сети. Я почитал описание алгоритма по ссылке, но в его основу положены старые добрые SVM, насколько я понял.

Игорь Токарев

Привет! Не думал, что будет такой ажиотаж.
Большой практической применимости нету. Это и не требуется, приложение же на знакомства рассчитано, контекст развлекательный поэтому.
Нейронки сейчас не применены в распознавании потому, что CLM отрабатывает на JS в онлайне быстрее. У нас очень много расточительных технологий одновременно юзается - браузерное 3Д, браузерный WebRTC, поэтому работает CLM, как один из методов машинного обучения применяемый как раз для распознавания лиц.
Нейронки будут в дальнейшем для распознавания рук (тоже развлекательная вещь) и для ботов.

Игорь Токарев

Сейчас установить вряд ли выйдет, т.к. для передачи потоковых видео и аудио требуется обязательно сервер с SSL-сертификатом. Ждать только, когда я выложу нестыдную версию сюда.
Т.к. проект в результате хочу сделать глобальным, потому и решил здесь поучаствовать, может денег удастся на разработку/продвижение небольшое выиграть.

Ivan Panin

А как вы обучали вашу модель бота-охотника?

Игорь Токарев

Это дело сейчас только делается! На текущем этапе используется распознавание эмоций человека.

Pavel Mochalov

В онлайне где-то можно покрутить эту штуку?

Игорь Токарев

Привет! Да, скоро выложу ссылочку на тест.