Netflix опубликовали фреймворк на Python для создания и управления data science проектов. Metaflow представляет собой API к инфраструктуре для запуска ML пайплайнов: от прототипирования до внедрения в продукт. Библиотека была изначально разработана в Netflix для решения внутренних data science задач компании.
Функционал библиотеки
Metaflow можно использовать вместе с такими Python инструментами для data science, как PyTorch, Tensorflow и SciKit Learn. Библиотека помогает разрабатывать масштабируемые пайплайны для внедрения в прдукт. Фреймворк автоматически поддерживает версионирование данных и экспериментов. Результаты экспериментов можно отслеживать в Jupyter ноутбуках. Metaflow предоставляет встроенную интеграцию с Amazon Web Services (AWS) для хранения данных, вычислений и ML-сервисов.
Код проекта выложили в репозиторий на GitHub. Документация проекта доступна по ссылке. Metaflow устроен как простая библиотека на Python.
Установить библиотеку можно с помощью pip: pip install metaflow.
