• Нейросеть генерирует упражнения для изучения языков по фотографиям

    picklang

    PickLang — это приложение, которое дает возможность изучать языки самым естественным для человека способом — исследуя окружающий мир. Приложение генерирует упражнения по пользовательским фотографиям в режиме реального времени. В основе — нейросеть архитектуры Transformer.



    Цель приложения — позволить пользователям учить иностранные языки подобно тому, как ребенок учится говорить — сопоставляя окружающие образы с их описанием. В PickLang пользователь выполняет упражнения, сгенерированные по его собственным фотографиям или взятые из библиотеки готовых фотографий. В приложении доступно два вида упражнений:

    • первый — выбор названия выделенного на фото объекта,
    • второй — заполнение пропущенных в описании фотографии слов.

    В личном кабинете отслеживается прогресс и активность, собираются фотографии объектов и тематические наборы картинок.

    В основе технологии лежат нейронные сети архитектуры Transformer. Используются различные методы обработки естественного языка, векторизации слов и предложений, распознавания именованных сущностей, компьютерного зрения и автоматической генерации речи. Использование самых современных архитектур и подходов к обучению моделей позволяет достигнуть результатов метрики для оценки качества генерации текстового описания картинок BLEU-4 более, чем 42%.

    Приложение хорошо подойдет тем, кто начинает учить новый язык и хочет освоить основы в доступном и естественном формате. При помощи приложения можно выучить названия находящихся поблизости объектов, а после этого отточить свои знания на подготовленных фотографиях из ленты. Продвинутым пользователям будет интересно проверить свои навыки в челленджах.



    Подписаться
    Уведомить о
    guest

    0 Comments
    Межтекстовые Отзывы
    Посмотреть все комментарии