Model Card Toolkit (MCT) — это набор инструментов для поддержки разработчиков в сборе информации для карточек моделей. Карточка модели описывает ML-модель на разных уровнях, чтобы повысить прозрачность используемых подходов. В карточку модели входит такая информация, как цели, описание архитектуры, метрики, ограничения модели и оценка работы. MCT включает в себя базовый интерфейс для карточки модели. Исследователи опубликовали Colab тьюториал с примером использования MCT.
Подробнее про библиотеку
Создание карточки модели предполагает заполнение JSON схемы. Схема описывает поля, которые включены в карточку. MCT автоматически заполняет схему данными о модели из ML Metadata (MLMD). Данные о модели — это, к примеру, распределение классов в данных и статистика работы модели.
Исследователи публикуют ModelCard API для представления инстанса JSON схемы и визуализации его как карточки модели. Пользователь может выбрать, какие метрики и графики показывать в финальной карточке модели, включая метрики, которые показывают кейсы входных данных, на которых модель работает хуже.
После того как карточка модели с ключевыми метриками и графиками была создана, пользователь может добавить к ней информацию о целях использования модели, ограничения и этические ремарки использования модели. Эта информация позволяет сторонним разработчикам решить, подходит ли модель для их конкретной задачи.
На данный момент MCT доступна для всех пользователей TensorFlow Extended (TFX) или на Google Cloud Platform.
