PickLang — это приложение, которое дает возможность изучать языки самым естественным для человека способом — исследуя окружающий мир. Приложение генерирует упражнения по пользовательским фотографиям в режиме реального времени. В основе — нейросеть архитектуры Transformer.
Цель приложения — позволить пользователям учить иностранные языки подобно тому, как ребенок учится говорить — сопоставляя окружающие образы с их описанием. В PickLang пользователь выполняет упражнения, сгенерированные по его собственным фотографиям или взятые из библиотеки готовых фотографий. В приложении доступно два вида упражнений:
- первый — выбор названия выделенного на фото объекта,
- второй — заполнение пропущенных в описании фотографии слов.
В личном кабинете отслеживается прогресс и активность, собираются фотографии объектов и тематические наборы картинок.
В основе технологии лежат нейронные сети архитектуры Transformer. Используются различные методы обработки естественного языка, векторизации слов и предложений, распознавания именованных сущностей, компьютерного зрения и автоматической генерации речи. Использование самых современных архитектур и подходов к обучению моделей позволяет достигнуть результатов метрики для оценки качества генерации текстового описания картинок BLEU-4 более, чем 42%.
Приложение хорошо подойдет тем, кто начинает учить новый язык и хочет освоить основы в доступном и естественном формате. При помощи приложения можно выучить названия находящихся поблизости объектов, а после этого отточить свои знания на подготовленных фотографиях из ленты. Продвинутым пользователям будет интересно проверить свои навыки в челленджах.
