Масштабирование вычислений на этапе инференса может увеличить производительность в 14 раз

27 августа 2024
search types

Масштабирование вычислений на этапе инференса может увеличить производительность в 14 раз

Исследователи из UC Berkeley и Google DeepMind предложили новый метод оптимизации вычислений на этапе инференса для LLM и продемонстрировали, что увеличение вычислительных мощностей на этапе инференса может быть более эффективным,…

WANN: нейросеть, которая не требует поиска параметров

30 августа 2019

WANN: нейросеть, которая не требует поиска параметров

Разработчики Google AI опубликовали новую нейросетевую архитектуру Weight Agnostic Neural Network. WANN — это нейросеть, которая выдает правдоподобные результаты с случайными параметрами. Стандартно обучение нейросети сводится к подбору архитектуры модели…

EfficientNet: как масштабировать нейросеть с использованием AutoML

31 мая 2019

EfficientNet: как масштабировать нейросеть с использованием AutoML

В рамках ICML 2019 была опубликована работа, в которой исследователи предлагают метод для оптимизации сверточных нейросетей. Предыдущие методы произвольно масштабировали размерность нейросети (например, количество слоев и параметров). Предложенный метод равномерно…

Как сократить размер нейросети на 10-20% и не проиграть в точности

21 мая 2019

Как сократить размер нейросети на 10-20% и не проиграть в точности

На ICLR 2019 исследователи из MIT представили метод, с помощью которого можно уменьшить размер нейросети на 10-20% и не потерять при этом в точности модели. Исследователи вводят “гипотезу о выигрышных…

MorphNet: нейросеть для оптимизации нейросетей

23 апреля 2019
morphnet

MorphNet: нейросеть для оптимизации нейросетей

Google AI представила open source модель MorphNet, которая берет на вход любую нейронную сеть и оптимизирует ее так, чтобы она имела большую скорость, меньший размер и лучшую производительность без потери…