Трансформер Neurohive

Deepmind представила универсальную модель Gato

28 мая 2022

Deepmind представила универсальную модель Gato

DeepMind представила кросс-модальную универсальную модель с 1.2 миллиардами параметров Gato. Gato может выполнять более 600 задач, таких как воспроизведение видеоигр, создание субтитров к изображениям и управление роботами. DeepMind обучила Gato…

PaLM: языковая модель Google с 540 миллиардами параметров

8 апреля 2022

PaLM: языковая модель Google с 540 миллиардами параметров

Google представила PaLM – языковую модель с 540 миллиардами параметров. PaLM превзошла существующие языковые модели в большинстве бенчмарков. Модель обучена с использованием 6144 тензорных процессоров Google TPU на платформе параллельных…

Texformer: оценка 3D-позы на основе трансформера

7 ноября 2021

Texformer: оценка 3D-позы на основе трансформера

Texformer — фреймворк для оценки 3D-позы по одному изображению с использованием архитектуры трансформера. Точность восстановления позы у Texformer выше, чем у state-of-the-art моделей на основе сверточных нейросетей. Архитектура модели приведена…

Машинное обучение применили для анализа карьерного роста

20 сентября 2021

Машинное обучение применили для анализа карьерного роста

Исследователи c помощью нейросетей изучили периоды высокой активности художников, ученых и режиссеров. Полученные результаты могут использоваться для выявления и развития талантливых подростков в различных областях. В целом ряде творческих областей…

Нейросеть генерирует упражнения для изучения языков по фотографиям

11 сентября 2021

Нейросеть генерирует упражнения для изучения языков по фотографиям

PickLang — это приложение, которое дает возможность изучать языки самым естественным для человека способом — исследуя окружающий мир. Приложение генерирует упражнения по пользовательским фотографиям в режиме реального времени. В основе…

TransGAN: две Transformer модели как одна GAN

26 февраля 2021

TransGAN: две Transformer модели как одна GAN

TransGAN — GAN-модель, в которой генератор и дискриминатор состоят из двух Transformer-архитектур. Традиционно в GAN архитектуре используются свертки. В TransGAN свертки заменили на Transformer. Код проекта доступен в открытом репозитории…

FAIR обучили Transformer DETR детектировать объекты на изображении

2 июня 2020

FAIR обучили Transformer DETR детектировать объекты на изображении

DEtection TRansformers (DETR) — это нейросетевой подход для распознавания объектов и паноптической сегментации объектов на изображении. DETR использует в своей основе архитектуру Transformer. Нейросеть выдает сравнимые с state-of-the-art результаты на…

Нейросеть Transformer-OCR распознает текст на изображениях

22 марта 2020

Нейросеть Transformer-OCR распознает текст на изображениях

Transformer-OCR — нейросетевая модель, которую обучили распознавать надписи на изображениях. Модель обходит существующие state-of-the-art методы на 5 датасетах. Для датасета с изображениями вывесок с закрученным текстом CUTE модель обходит предыдущие…

LaserTagger: state-of-the-art модель для генерации текста от Google AI

3 февраля 2020

LaserTagger: state-of-the-art модель для генерации текста от Google AI

LaserTagger — это нейросетевая модель для генерации текста, которая размечает входную последовательность. Нейросеть рассматривает задачу генерации текста как задачу редактирования текста. Целевые тексты восстанавливаются из входных текстов с помощью трех…

Как обучить трансформер на одном языке и перенести его на другой

1 ноября 2019

Как обучить трансформер на одном языке и перенести его на другой

Исследователи из DeepMind проверили, как предобученный на данных одного языка трансформер переносится на другой язык. Исследователи публикуют новый датасет с кросс-языковыми парами вопросов и ответов (XQuAD). Датасет состоит из 240…

exBERT: как визуализировать обученный трансформер

16 октября 2019

exBERT: как визуализировать обученный трансформер

exBERT — это интерактивный инструмент для визуализации механизма внимания в обученной языковой модели. Инструмент позволяет исследовать, как языковая модель формирует пространство скрытых представлений. exBERT сопоставляет выбранные пользователем слова на входе…

Трансформер

Deepmind представила универсальную модель Gato

Deepmind представила универсальную модель Gato

PaLM: языковая модель Google с 540 миллиардами параметров

PaLM: языковая модель Google с 540 миллиардами параметров

Texformer: оценка 3D-позы на основе трансформера

Texformer: оценка 3D-позы на основе трансформера

Машинное обучение применили для анализа карьерного роста

Машинное обучение применили для анализа карьерного роста

Нейросеть генерирует упражнения для изучения языков по фотографиям

Нейросеть генерирует упражнения для изучения языков по фотографиям

TransGAN: две Transformer модели как одна GAN

TransGAN: две Transformer модели как одна GAN

FAIR обучили Transformer DETR детектировать объекты на изображении

FAIR обучили Transformer DETR детектировать объекты на изображении

Нейросеть Transformer-OCR распознает текст на изображениях

Нейросеть Transformer-OCR распознает текст на изображениях

LaserTagger: state-of-the-art модель для генерации текста от Google AI

LaserTagger: state-of-the-art модель для генерации текста от Google AI

Как обучить трансформер на одном языке и перенести его на другой

Как обучить трансформер на одном языке и перенести его на другой

exBERT: как визуализировать обученный трансформер

exBERT: как визуализировать обученный трансформер

ALBERT: разработчики из Google оптимизировали размер BERT

ALBERT: разработчики из Google оптимизировали размер BERT

ParaQG: нейросеть генерирует вопросы к тексту

ParaQG: нейросеть генерирует вопросы к тексту

Нейросеть прошла школьный тест по научным дисциплинам

Нейросеть прошла школьный тест по научным дисциплинам

В Nvidia обучили языковую модель с 8 миллиардами параметров

В Nvidia обучили языковую модель с 8 миллиардами параметров

Как сократить размер BERT без значительной потери в точности

Как сократить размер BERT без значительной потери в точности

Deep TabNine: инструмент на нейросетях, который помогает писать код

Deep TabNine: инструмент на нейросетях, который помогает писать код