• Deepmind представила универсальную модель Gato

    DeepMind представила кросс-модальную универсальную модель с 1.2 миллиардами параметров Gato. Gato может выполнять более 600 задач, таких как воспроизведение видеоигр, создание субтитров к изображениям и управление роботами.

    DeepMind обучила Gato на датасетах, включающих опыт работы агента как в моделируемых, так и в реальных средах, а также на датасетах естественного языка и изображений.

    Gato имеет архитектуру трансформера, которая была выбрана для решения сложных задач на рассуждение, демонстрации способностей к обобщению текстов, созданию музыки, классификации объектов на фотографиях и анализу последовательностей белков.

    На этапе обучения Gato данные из различных задач и модальностей упорядочиваются в плоскую последовательность токенов, объединяются и обрабатываются нейросетью.

    Интересно, что у Gato количество параметров на порядки меньше, чем у однозадачных систем, включая GPT-3. Так, GPT-3 насчитывает более 170 миллиардов параметров, в то время как у Gato их всего 1,2 миллиарда.




    Подписаться
    Уведомить о
    guest

    0 Comments
    Межтекстовые Отзывы
    Посмотреть все комментарии