За последнии двадцать лет онлайн-знакомства приобрели большую популярность, а первое, что оценивают пользователи приложений для знакомств — фотография профиля. Исследователи из Photofeeler Inc представили алгоритм оценки фотографий, который помогает выбрать наиболее привлекательную из них. Эксперименты показазали, что алгоритм Photofeeler D3 позволяет оценивать фотографии так, как если бы их оценили случайные люди.
Датасеты
Алгоритм использует датасеты:
- AVA — вместо оценок привлекательности объекта имеет оценку всей фотографии.
- Hot-or-Not — содержит 2 000 изображений. Каждое изображение оценивали 100 раз по шкале от 1 до 10 люди противоположного пола.
- SCUT-FBP — является эталоном для прогнозирования красоты лица (Facial Beauty Prediction), содержит 500 обрезанных изображений лиц азиатских женщин в нейтральном положении.
- London Faces — похож на SCUT-FBP, но содержит 102 изображения мужчин и женщин.
- Photofeeler — содержит 1 200 000 изображений, в которые входят фотографии 200 000 мужчин и 50 000 женщин. Изображения имеют разные пропорции, но со стороной менее 600px, в метаданных изображения находится его оценка по разным признакам.
Архитектура Photofeeler D3
Архитектура модели состоит из 4-х частей:
- Базовая сеть (Base Network) — в качестве входных данных используется HxWx3 RGB изображение, которое преобразуется в вектор(h_i).
- Временный выход (Temporary Output) — принимает вектор h_i, на выходе получается 10-мерный вектор, который используется во время обучения, но удаляется во время тестирования.
- Модель голосования (Voter Model) — вычисляет прогнозируемую оценку, объединяя входные данные базовой сети с помощью встроенного выражения голосования, и вводит маленькую сеть, которая производит распределение по 10 классам.
- Агрегатор (Aggregator) — прогнозирует мнение конкретного голосующего и выбирает среднее значение для создания стабильного прогноза оценки.
Обучение Photofeeler
Отдельная модель обучается на изображениях женщин и мужчин, первая её часть обучает базовую сеть, а вторая модель голосования.
Эксперимент
Ниже приведены две таблицы точности в %, в первой таблице на разных датасетах сравнивалась точность с людьми, то есть модель пыталась предсказать мнение людей. Во второй таблице сравнение точности с похожими сервисами.
Существуют две основные онлайн платформы, функции которых похожи на Photofeller:
- hotness.ai — берёт снимок человека в любой позе и, используя неуказанный алгоритм, даёт показатель привлекательности от 1 до 10.
- prettyscale.com — берёт снимок человека, на котором нужно указать ключевые геометрические точки, даёт показатель привлекательности от 0 до 100.
Как видно из таблицы выше, точность похожих сервисов всего 52-53%, а точность Photofeller достигает 81%.
