Панюшкин Сергей

Распознавание эмоций для анализа видео - контента

Описание проекта

Идея продукта

Использование нейросетей для оценки отклика зрителей на целевое видео. Это позволит выявлять смешные и скучные момненты видео, а так же анализировать реакцию различных социально-демографических групп.

Что делаем?

  1. 1. Привязываем эмоции зрителей к кадрам видео;

  2. 2. Обучаем модель угадывать эмоции зрителя;

  3. 3. Cкорим видео по эмоциональному отклику. 

Где применяем?

  • Монтаж видео:

                Формируем увеличивающие просмотры трейлеры и тизеры к видео, содержащие наиболе эмоциональный контент для выбранного сегмента целевой аудитории.

  • Пост-анализ эффективности:

                Формируем аналитику по эмоциональному отклику зрителей на видеоконтект. Инсайты могут быть учтены при написании сценариев.

 

Какой эффект?

  1. 1. Увеличиваем просмотры видео, виральность видео;

  2. 2. Инсайды и эмоциональных трендов.

 

Пример 

На основе эмоционального отклика данной целевой аудитории мы можем выделить особо смешные моменты видеоролика: с 17 по 33 секунды.

 

Так же мы можем разделить группу по половому признаку. Заметно, что женщины (красный цвет) более эмоциональные, чем мужчины (синий).

Мотивация

Необходимо замотивировать зрителя, чтобы он дал разрешение на анализ своих данных:

  1. 1. Контрольная группа - специально нанятые люди для анализа новых роликов.
  2. 2. Обычные зрители - промо-коды, бесплатный контент, другие плюшки.

Состав команды:

  • Никита Мелентьев, Разработчик, Аналитик
  • Панюшкин Сергей, Аналитик

Комментарии

Ivan Panin

А эта модель хорошо себя показала потом на вашей выборке? Насколько я знаю, на новых выборках данных модели могут вести себя довольно непредсказуемо.

Панюшкин Сергей

Иван, модель распознавания эмоций показала себя хорошо на видеопотоке с вебки ноутбука. Были конечно проблемы с плохим распознаванием "злости", но и в оригинальной работе эта проблема обозначена, да и в нашем кейсе злость определять не требуется. Плохо модель работает если с телефона записывать видео, потому что разрешения недостаточно. Пол предсказывался хорошо везде, возраст везде предсказывался не очень (спокойно мог накинуть 10-15 лет).

Юрий Бабуров

Подскажите, тренировали ли вы сами свою нейросеть для данного проекта?

Никита Мелентьев

Юрий, для распознавания эмоций я полностью повторил эксперимент из приведённого на гитхабе проекта, в том числе и обучение сетей. Для выявления возраста и пола были взяты готовые веса.

Иван Федоров

Ну вообще полезно было бы для всяких видеоблоггеров (например, тех, кто стэндапы снимает). Т. е. в ролике 10 шуток и можно оценить, над какими больше смеялись...
Только тут нужно учитывать то, что человек может просто улыбнуться, а может и в голос заржать, это большая разница)

Панюшкин Сергей

Спасибо! Действительно, интересная идея, точно реализуема. Но думаю что в России по понятным причинам не очень зайдет. На западе по проще (там пиратство не так процветает), но все будут параноить по поводу кражи личных данных. Так что надо подходить аккуратно)

Pavel Mochalov

Реально очень круто! Можно сделать ресурс, где люди будут просматривать, скажем, фильмы бесплатно при условии, что у них включена web-камера. Возможно такое?