SmolLM2: открытая компактная LLM от Hugging Face превосходит Llama-1B и Qwen2.5-1.5B

6 ноября 2024
SmolLM v2

SmolLM2: открытая компактная LLM от Hugging Face превосходит Llama-1B и Qwen2.5-1.5B

Компания Hugging Face представила SmolLM2 — новое семейство компактных языковых моделей, которое преводсходит существующие state-of-the-art модели. Так версия с 1.7B параметров опережает Llama-1B и Qwen2.5-1.5B на нескольких ключевых бенчмарках: 68.7%…

EzAudio: гиперреалистичная открытая Text-to-Audio модель

19 сентября 2024
ezaudio text-to-audio model generation ai

EzAudio: гиперреалистичная открытая Text-to-Audio модель

EzAudio — новая диффузная модель генерации аудио на основе текста (T2A), разработанная исследователями из Tencent AI Lab и Университета Джонса Хопкинса. В основе модели — архитектура диффузионного трансформера для обработки…

DeeplearningAI выпустил бесплатный курс «Мультимодальный RAG: Общение с видео»

15 сентября 2024
Multimodal RAG

DeeplearningAI выпустил бесплатный курс «Мультимодальный RAG: Общение с видео»

DeeplearningAI выпустил бесплатный видеокурс «Multimodal RAG: Chat with Video«. На курсе инженер Intel Labs Васудев Лал рассказывает, как создавать нейросети для поиска и анализа видеоконтента с использованием мультимодальных моделей. Основной…

OpenAI выпустила семейство моделей o1 с продвинутой логикой в решении сложных задач

13 сентября 2024
openai o1

OpenAI выпустила семейство моделей o1 с продвинутой логикой в решении сложных задач

OpenAI представила новое семейство моделей o1, следующее поколение моделей GPT. Модели o1 — в частности, o1-preview и o1-mini — разработаны для выполнения более сложных логических задач, чем их предшественники, и…

LongWriter — открытый фреймворк и набор LLM для генерации текстов длиной до 20000 слов

19 августа 2024
agentwrite

LongWriter — открытый фреймворк и набор LLM для генерации текстов длиной до 20000 слов

LongWriter — открытый фреймворк и набор больших языковых моделей (LLMs) для генерации связных и релевантных ответов, превышающих 10 000 слов. Longwriter использует пайплайн AgentWrite, который разбивает задачу генерации длинных текстов…

CRAM: новая аппаратная архитектура снижает энергопотребление ИИ в 1000 раз

30 июля 2024
CRAM

CRAM: новая аппаратная архитектура снижает энергопотребление ИИ в 1000 раз

Исследователи из Университета Миннесоты Твин-Ситис представили архитектуру аппаратного обеспечения Computational Random-Access Memory (CRAM), которая призвана трансформировать вычисления в области ИИ, резко сократив энергопотребление. CRAM способен сократить использование энергии ИИ в…

Состоялся релиз LLaMA 3.1: открытая модель превосходит GPT-4o и Claude Sonnet 3.5 на бенчмарках

24 июля 2024
llama 3.1 human evaluation

Состоялся релиз LLaMA 3.1: открытая модель превосходит GPT-4o и Claude Sonnet 3.5 на бенчмарках

Модели LLaMA 3.1 официально выпущены, включая самую большую открытую модель с 405 миллиардами параметрами, модели 70B и 8B и мультимодальную модель. Контекст расширен до 128K токенов, поддерживается восемь языков, а…

Как ИИ помог студии King разработать 13755 уровней для игры Candy Crush Saga

4 июля 2024
candy crush ai

Как ИИ помог студии King разработать 13755 уровней для игры Candy Crush Saga

Компания King, разработчик известной мобильной игры Candy Crush Saga, активно внедряет искусственный интеллект в процесс разработки и оптимизации игры. В недавнем интервью Сахар Асади (Sahar Asadi) из AI Labs Activision…

Модель обучили понимать язык с помощью видеозаписей

23 июня 2024
DenseAV Algorithm

Модель обучили понимать язык с помощью видеозаписей

Разработанный в MIT алгоритм DenseAV обучается понимать значение слов и предложений, просматривая видео с разговорами людей. DenseAV превзошел другие алгоритмы в задачах идентификации объектов по их названию. Исследователи решили задачу…

Zyda: open source датасет объемом 1.3T для обучения языковых моделей

12 июня 2024
zyda dataset composition

Zyda: open source датасет объемом 1.3T для обучения языковых моделей

Zyda – это открытый датасет объемом 1.3 триллиона токенов от команды Zyphra, предназначенный для обучения больших языковых моделей. Zyda включает в себя данные из open source датасетов, таких как RefinedWeb,…

GPT-4 обучили прогнозировать финансовые показатели лучше аналитиков

26 мая 2024
finance market analisys ai model

GPT-4 обучили прогнозировать финансовые показатели лучше аналитиков

Ученые из Чикагского университета продемонстрировали, что большие языковые модели могут проводить анализ финансовой отчетности компаний с точностью, превосходящей точность профессиональных аналитиков. Выводы исследования могут иметь последствия для развития отрасли финансового…

Модель NVIDIA DrEureka обучает роботов быстрее, чем люди

12 мая 2024
nvidia dreureka

Модель NVIDIA DrEureka обучает роботов быстрее, чем люди

NVIDIA продемонстрировала, что большие языковые модели могут ускорить обучение роботов. Роботы с четырьмя конечностями, обученные с помощью модели DrEureka, превосходят стандартные системы обучения на 34% по скорости движения робота в…

Google Gecko: бенчмарк для text-to-image моделей

6 мая 2024
Google Gecko

Google Gecko: бенчмарк для text-to-image моделей

Google DeepMind разработала Gecko – бенчмарк, обеспечивающий более точное и надежное тестирование и сравнение text-to-image моделей, чем существующие подходы. Исследование Google DeepMind выявило скрытые ограничения в том, как в настоящее…

Gretel: крупнейший открытый Text-to-SQL датасет

7 апреля 2024
gretel dataset sql

Gretel: крупнейший открытый Text-to-SQL датасет

Стартап Gretel, специализирующийся на генерации высококачественных синтетических данных, объявил о создании крупнейшего открытого text-to-SQL датасета, нацеленного на ускорение развития no-code инструментов аналитики. Датасет содержит более 100 000 корректных синтетических образцов…

Диффузионную модель обучили прогнозировать химические реакции

27 декабря 2023
mit duffusion model

Диффузионную модель обучили прогнозировать химические реакции

Ученые MIT разработали модель, прогнозирующую вероятность достижения молекулой переходного состояния – состояния, определяющего вероятность протекания химической реакции. Модель будет использоваться в исследованиях реакций и катализаторов для разработки новых видов топлива…

MIT публикует бесплатный курс лекций TinyML & Efficient DL Computing на Youtube

29 сентября 2023
TinyML & Efficient DL Computing

MIT публикует бесплатный курс лекций TinyML & Efficient DL Computing на Youtube

В последние годы большие языковые и диффузные модели продемонстрировали впечатляющие результаты, но их требовательность к вычислительным ресурсам и потребление памяти ставит перед исследователями и разработчиками серьезные вызовы. Курс TinyML &…

Würstchen: открытая text-to-image модель, которая обучается в 16 раз быстрее Stable Diffusion 1.4

14 сентября 2023
Würstchen approach

Würstchen: открытая text-to-image модель, которая обучается в 16 раз быстрее Stable Diffusion 1.4

Würstchen — открытая text-to-image модель, которая генерирует изображения быстрее, чем диффузные модели, такие как Stable Diffusion, и при этом потребляет гораздо меньше памяти, достигая сравнимых результатов. Подход основан на пайплайне…

OpenAI открыла возможность дообучать модель GPT-3.5 Turbo для конкретных задач

22 августа 2023
GPT 3.5 turbo finetuning

OpenAI открыла возможность дообучать модель GPT-3.5 Turbo для конкретных задач

GPT-3.5 Turbo от OpenAI получил обновление, позволяющее разработчикам дообучать модель для использования в своих приложениях, что позволит разработчикам возможность максимально раскрыть потенциал GPT-3.5. Теперь разработчики могут делать тонкую настройку (finetuning)…

ReLoRA: метод увеличения производительности обучения больших языковых моделей

16 августа 2023
relora method

ReLoRA: метод увеличения производительности обучения больших языковых моделей

ReLoRA — метод обучения больших языковых моделей-трансформеров с использованием матриц низкого ранга, который увеличивает производительность обучения. Эффективность метода возрастает с увеличением масштабов моделей. На модели с 1,3 миллиардами параметров использование…

LIMA: метод предобучения на 1000 примерах позволил достичь точности GPT-4

31 мая 2023
LIMA LLAMA

LIMA: метод предобучения на 1000 примерах позволил достичь точности GPT-4

Языковые модели обычно обучаются в два этапах: предварительное обучение без учителя и настройка под конкретные задачи и предпочтения пользователей. Новый метод LIMA (Less Is More for Alignment) основан на гипотезе,…

DoReMi: алгоритм, ускоряющий предобучение языковых моделей

27 мая 2023
DoReMi ускорение обучения моделей

DoReMi: алгоритм, ускоряющий предобучение языковых моделей

Предположим, что у вас есть корпус, подобный The Pile, состоящий из 22 доменов: веб-страницы, Википедия, новости, Github, книги. Исследователи Google и Stanford University предложили алгоритм DoReMi для оптимизации пропорций выборок…