Разработчики из Google добавили в YouTube добавили функцию рекомендации ответов на комментарии для креаторов. Функционал доступен в YouTube Studio. В основе SmartReply лежит двойная нейросеть, которую обучили сразу на всех поддерживаемых языках. Модель выучивает представления комментариев и ответов с помощью сети с self-attention механизмом. Первую версию SmartReply запустили более 4 лет назад. Сейчас система работает также в Gmail и Android Messages. На данный момент SmartReply доступен для английского и испанского языков.
Что внутри модели
Двойная энкодер стеть кодирует и комментарий, и ответ на комментарий, чтобы максимизировать совместную информацию между представлениями. Это осуществляется с помощью contrastive целевой функции во время обучения. Полученные представления используются для выдачи рекомендаций. Архитектура энкодера схожа с Transformer.
Вместо того что бы обучать отдельную модель для каждого языка, исследователи обучают одну кросс-языковую модель для всех поддерживаемых языков. Это позволяет учитывать случаи смешанных ответов-комментариев. Кроме того, повышается обобщаю способность модели. Так, обученная нейросеть лучше понимает контекст использования эмодзи и цифр.
