fbpx
  • OpenAI обучили GPT-2 дополнять и генерировать изображения

    Исследователи из OpenAI обучили GPT-2 модель дополнять и генерировать изображения. Обученная iGPT обходит state-of-the-art подходы в задаче классификации изображений. Несмотря на более высокие скоры по сравнению со сверточными моделями, обучение iGPT более ресурсоемкое. При этом модель не требует изменений в архитектуре для использования в других задачах.

    Transfer learning для задач компьютерного зрения

    Обучение без учителя и self-supervised обучение — это одна из открытых задач в машинном обучении. Последние исследования показывали успех моделей, основанных на Transformer, для задач обработки естественного языка. Модели, как BERT, GPT-2, RoBERTa, T5, и их вариации являются state-of-the-art в большинстве задач NLP. Однако пока Transformer архитектуре не удавалось удачно применить для задач обработки изображений.

     

    Transformer модели, как BERT и GPT-2, не зависят от области задачи. Это значит, что модели можно использовать для решения широкого спектра задач без значительных архитектурных изменений. Изначально модели обрабатывали одномерные последовательности.  

    GPT-2, обученная на последовательностях пикселей, способна понимать такие характеристики двумерного изображения, как наличие объекта и его категория. Веса из модели позволяет достичь state-of-the-art результатов на задаче классификации изображений. Исследователи тестировали iGPT на CIFAR-10, STL-10 и ImageNet. Архитектура iGPT при этом полностью совпадает с GPT-2.

    Результаты iGPT в сравнении с предыдущими state-of-the-art подходами