fbpx
  • Metaflow: фреймворк для управления data science проектами от Netflix

    Netflix опубликовали фреймворк на Python для создания и управления data science проектов. Metaflow представляет собой API к инфраструктуре для запуска ML пайплайнов: от прототипирования до внедрения в продукт. Библиотека была изначально разработана в Netflix для решения внутренних data science задач компании.

    Функционал библиотеки

    Metaflow можно использовать вместе с такими Python инструментами для data science, как PyTorch, Tensorflow и SciKit Learn. Библиотека помогает разрабатывать масштабируемые пайплайны для внедрения в прдукт. Фреймворк автоматически поддерживает версионирование данных и экспериментов. Результаты экспериментов можно отслеживать в Jupyter ноутбуках. Metaflow предоставляет встроенную интеграцию с Amazon Web Services (AWS) для хранения данных, вычислений и ML-сервисов.

    Код проекта выложили в репозиторий на GitHub. Документация проекта доступна по ссылкеMetaflow устроен как простая библиотека на Python.

    Пример создания персонального пайплайна для обработки данных и обучения моделей

    Установить библиотеку можно с помощью pip: pip install metaflow.