fbpx
  • Sotabench: платформа с лучшими моделями для отдельных задач

    Sotabench — это платформа для агрегации и ранжирования моделей, которые решают отдельные задачи. Любой желающий может проверить свою модель на доступных задачах и сравнить с остальными моделями. На текущий момент доступно 8 задач: 2 из компьютерного зрения и 6 из обработки естественного языка. Проект был опубликован разработчиками Papers with Code.

    Цель Sotabench в том, чтобы стандартизировать проверку работы открытых ML-моделей. Sotabench — это двойник проекта Papers with Code. Однако Papers with Code фокусируется на результатах, которые были опубликованы в оригинальных статьях. В то время как в Sotabench модели проверяются в системе.

    Процесс проверки модели интегрирован с GitHub и доступен для любого желающего. Пользователи могут добавлять собственные модели и датасеты. Например, есть возможность загрузить на платформу свою имплементацию модели из статьи и сравнить ее с другими имплементациями без необходимости вручную прогонять эксперименты.

    Как добавить свой репозиторий

    Процесс добавления своего репозитория состоит из двух шагов: локально оценить модель и подключиться к GitHub репозиторию.

    Каждая задача на Sotabench имеет свои инструкции по использованию. Например, чтобы использовать задачу классификации изображений на датасете ImageNet, необходимо создать .py файл определенного формата. Другой способ — использовать обертку на PyTorch для локальной оценки модели.

    Пример скрипта в .py файле

    Разработчики сравнивают Sotabench с непрерывной интеграцией. Отличие в том, что вместо юнит-тестов, с каждым новым коммитом платформа пересчитывает модели.