LONGLLaMA: языковая модель, способная обрабатывать длинные контексты из 256 000 токенов

13 июля 2023
LongLLAMA FOT

LONGLLaMA: языковая модель, способная обрабатывать длинные контексты из 256 000 токенов

Новый метод Focused Transformer (FOT) позволяет дообучать большие языковые модели для расширения эффективного понимания контекста. Для демонстрации метода исследователи дообучиили open source модели OpenLLaMA 3B и 7B, результирующая модель LONGLLAMA…

Deepmind представила универсальную модель Gato

28 мая 2022

Deepmind представила универсальную модель Gato

DeepMind представила кросс-модальную универсальную модель с 1.2 миллиардами параметров Gato. Gato может выполнять более 600 задач, таких как воспроизведение видеоигр, создание субтитров к изображениям и управление роботами. DeepMind обучила Gato…

Flamingo: мультимодальная модель DeepMind

9 мая 2022

Flamingo: мультимодальная модель DeepMind

Flamingo – мультимодальная модель DeepMind, генерирующая текстовое описание фото, видео и звуков. Модель превосходит предыдущие state-of-the-art модели в 16 задачах, а ее особенностью является возможность обучаться на нескольких примерах. Обычно…

Обучение с подкреплением для контроля термоядерных реакций

17 февраля 2022

Обучение с подкреплением для контроля термоядерных реакций

DeepMind объявила о применении обучения с подкреплением для управления состоянием плазмы в ходе термоядерной реакции. Алгоритм DeepMind позволил повысить стабильность процесса управляемого термоядерного синтеза на токамаке. Ядерный синтез — многообещающий…

AlphaCode: модель генерации кода по описанию DeepMind

3 февраля 2022

AlphaCode: модель генерации кода по описанию DeepMind

DeepMind представила систему генерации кода AlphaCode с 41 миллиардом параметров. AlphaCode превосходит OpenAI Codex и генерирует код на 12 языках. Согласно исследованию Кембриджского университета, более половины рабочего времени разработчиков тратится…

DeepBrain показала аватары для коммуникации с клиентами

8 января 2022

DeepBrain показала аватары для коммуникации с клиентами

На выставке CES 2022 компания DeepBrain представила фотореалистичных аватаров, которые предлагается использовать компаниям для коммуникации с клиентами. Аватары сгенерированы на основе нескольких сотен часов видео реальных людей. Аватары DeepBrain способны…

RETRO: языковая модель DeepMind

10 декабря 2021

RETRO: языковая модель DeepMind

DeepMind представила языковую модель RETRO, в которой реализована схема обучения, основанная на использовании внешней памяти. RETRO демонстрирует сравнимые с GPT-3 результаты несмотря на то, что она имеет в 25 раз…

Модель распознаёт действия на видеозаписи без учителя

11 мая 2020

Модель распознаёт действия на видеозаписи без учителя

Исследователи из DeepMind обучили генеративную модель, которая сегментирует действия на видеозаписи. Модель обучается распознавать действия без реальной разметки действий на видеозаписи. Несмотря на свою простоту, алгоритм выдает сравнимые с state-of-the-art…

RL-агент от DeepMind обошел человека во всех 57 играх Atari 2600

1 апреля 2020

RL-агент от DeepMind обошел человека во всех 57 играх Atari 2600

DeepMind разработали RL-агента Agent57, который обошел человека во всех 57 играх Atari 2600. Agent57 совмещает в себе алгоритм для эффективного исследования среды с мета-контроллером. Мета-контроллер отвечает за адаптацию исследования среды…

Как обучить трансформер на одном языке и перенести его на другой

1 ноября 2019

Как обучить трансформер на одном языке и перенести его на другой

Исследователи из DeepMind проверили, как предобученный на данных одного языка трансформер переносится на другой язык. Исследователи публикуют новый датасет с кросс-языковыми парами вопросов и ответов (XQuAD). Датасет состоит из 240…

Мультиагентная RL-система получила титул Грандмастера в StarCraft II

1 ноября 2019

Мультиагентная RL-система получила титул Грандмастера в StarCraft II

Модель AlphaStar от DeepMind обучилась играть в StarCraft II на уровне Грандмастера. В общем рейтинге модель обошла 99.8% активных игроков. Уровень Грандмастера был достигнут для всех трех типов игроков: Protoss,…

Нейросеть от DeepMind восстанавливает текст на древнегреческом

22 октября 2019

Нейросеть от DeepMind восстанавливает текст на древнегреческом

PYTHIA — это нейросетевая модель от DeepMind для восстановления текстовых данных. Разработчики протестировали модель на задаче восстановления текстов на древнегреческом. По результатам, модель совершила на 27.2% меньше ошибок, чем профессиональные…

Как генерировать правдоподобную речь с помощью нейросетей

1 октября 2019
deepmind maths challenge

Как генерировать правдоподобную речь с помощью нейросетей

GAN-TTS — это генеративная модель для задачи преобразования текста в речь. Архитектура модели состоит из условного feed-forward генератора и ансамбля дискриминаторов. Дискриминаторы оценивают сгенерированную аудиозапись на случайных окнах разного размера.…

DVD-GAN: новый state-of-the-art в генерации видео

30 августа 2019

DVD-GAN: новый state-of-the-art в генерации видео

DVD-GAN — это нейросеть для генерации видео, которая была разработана исследователями из DeepMind. По результатам экспериментов, DVD-GAN лучше предыдущих решений справляется с задачами генерации и предсказания видео. Модели тестировались на…

DeepMind опубликовали библиотеку для RL экспериментов

14 августа 2019
deepmind maths challenge

DeepMind опубликовали библиотеку для RL экспериментов

bsuite — это коллекция экспериментов для исследования поведения разных RL-агентов на общих задачах. Библиотека автоматизирует оценку и анализ поведения агентов на задачах. Она служит для упрощения создания повторяемых исследований. У…

Как использовать эволюционные алгоритмы для обучения беспилотных автомобилей

27 июля 2019

Как использовать эволюционные алгоритмы для обучения беспилотных автомобилей

Исследователи из DeepMind совместно с Waymo применили алгоритм естественного отбора для подбора параметров модели, распознающей пешеходов на дороге. Использование эволюционного обучения сократило процент ложно распознанных объектов на 24%. Чтобы сделать…

BigBiGAN: новый state-of-the-art подход в обучении представлений

15 июля 2019

BigBiGAN: новый state-of-the-art подход в обучении представлений

BigBiGAN — это генеративная нейросеть, которую адаптировали к задаче обучения представлений. В основе BigBiGAN лежит BigGAN,  — текущий state-of-the-art для генерации изображений. Модель была разработана исследователями из DeepMind. Состязательные генеративные…

VQ-VAE-2: генерация реалистичных разноплановых изображений

5 июня 2019

VQ-VAE-2: генерация реалистичных разноплановых изображений

Исследователи из DeepMind предложили использовать модифицированный вариационный автокодировщик для генерации правдоподобных разноплановых изображений. VQ-VAE-2 конкурирует по результатам с state-of-the-art подходами. Архитектура помогает избавиться от недостатков использования GAN-ов для генерации изображений.…

DeepMind обучили агентов играть в многопользовательскую игру на уровне человека

1 июня 2019

DeepMind обучили агентов играть в многопользовательскую игру на уровне человека

Исследователи из DeepMind обучили мультиагентную систему, которая играет в Quake III Arena: Capture The Flag так же хорошо, как человек. Методы обучения с подкреплением (RL) показывают хорошие результаты в случае…

Прототип DeepMind диагностирует глазные заболевания на уровне офтальмологов

9 апреля 2019
deepmind

Прототип DeepMind диагностирует глазные заболевания на уровне офтальмологов

Deepmind разработала прототип устройства, позволяющего диагностировать комплексные глазные заболевания в формате реального времени. По завершении разработки это будет первым коммерческим проектом компании. Алгоритм способен детектировать глазные заболевания, включая глаукому, диабетическую ретинопатию…

DeepMind объявила конкурс по созданию нейросетей, решающих математические задачи

8 апреля 2019
deepmind maths challenge

DeepMind объявила конкурс по созданию нейросетей, решающих математические задачи

Исследователи из DeepMind открыли доступ к датасету математических задач и ответов к ним и проверили то, как существующие архитектуры справляются с предсказанием ответа на математическую задачу. В будущем это может…