fbpx
  • BentoML: инструмент для инференса обученных ML-моделей

    BentoML — это открытая библиотека для высокопроизводительного инференса ML-моделей. Инструмент облегчает процесс создания API методов для доступа к обученной модели. BentoML совместим со всеми крупными фреймворками машинного обучения: Tensorflow, Keras, PyTorch, XGBoost, scikit-learn и fastai.

    BentoML идет вместе с сервером для API модели, которые поддерживает адаптивный микро-батчинг данных. Это позволяет сочетать преимущества обработки данных батчами и онлайн нагрузку на модель на инференсе. Кроме того, библиотека предоставляет функционал для управления моделью и ее деплоя. Это делает BentoML end-to-end решением для ML разработчиков, которое учитывает лучшие практики DevOps.

    Почему BentoML

    Вывод моделей машинного обучения в продакшен является комплексной задачей. Часто data science специалистами не обладают навыками построения высоконагруженных сервисов и DevOps. Обученные модели тяжело тестировать и деплоить. Это часто приводит к времязатратному и неустойчивому воркфлоу, где сжатый файл с моделью или ее весами передается команде разработчиков.

    BentoML решает проблему использования обученной модели в продукте. Инструмент позволяет ML-командам строить готовые к продакшену API endpoints.

    Функционал инструмента включает в себя:

    • Конвертацию обученной модели в API endpoint в несколько строчек кода;
    • Совместимость со всеми крупными фреймворками для машинного обучения;
    • End-to-end решение для использования обученных ML-моделей в продуктах с использованием распространенных DevOps практик;
    • Поддержка микро-батчинга;
    • Управление моделью и ее мониторинг через CLI и дашборд;
    • Деплой моделей с поддержкой Docker, Kubernetes, AWS Lambda, SageMaker, Azure ML and more