fbpx
  • MCT: набор инструментов для презентации ML-моделей

    Model Card Toolkit (MCT) — это набор инструментов для поддержки разработчиков в сборе информации для карточек моделей. Карточка модели описывает ML-модель на разных уровнях, чтобы повысить прозрачность используемых подходов. В карточку модели входит такая информация, как цели, описание архитектуры, метрики, ограничения модели и оценка работы. MCT включает в себя базовый интерфейс для карточки модели. Исследователи опубликовали Colab тьюториал с примером использования MCT.

    Подробнее про библиотеку

    Создание карточки модели предполагает заполнение JSON схемы. Схема описывает поля, которые включены в карточку. MCT автоматически заполняет схему данными о модели из ML Metadata (MLMD). Данные о модели — это, к примеру, распределение классов в данных и статистика работы модели.

    Пайплайн работы MCT

    Исследователи публикуют ModelCard API для представления инстанса JSON схемы и визуализации его как карточки модели. Пользователь может выбрать, какие метрики и графики показывать в финальной карточке модели, включая метрики, которые показывают кейсы входных данных, на которых модель работает хуже.

    После того как карточка модели с ключевыми метриками и графиками была создана, пользователь может добавить к ней информацию о целях использования модели, ограничения и этические ремарки использования модели. Эта информация позволяет сторонним разработчикам решить, подходит ли модель для их конкретной задачи.

    Пример карточки модели, созданной с помощью MCT

    На данный момент MCT доступна для всех пользователей TensorFlow Extended (TFX) или на Google Cloud Platform.