fbpx
  • FAIR открыла доступ к платформе оценки моделей Dynabench

    FAIR открыла всем желающим доступ к Dynabench — бесплатной платформе для бенчмаркинга моделей. Функционал сервиса позволяет выполнять оценку предвзятости, точности и ресурсоемкости моделей.

    Dynatask — новая функция Dynabench для работы с моделями обработки естественного языка. Ее отличает отличается гибкость в конфигурировании. В частности, у одной задачи может быть один или несколько владельцев, которые могут управлять ее настройками. Также пользователи могут выбрать, какие датасеты и метрики использовать для оценки моделей.

    Схема работы с Dynatask:

    • Шаг 1: войдите в свою учетную запись Dynabench и заполните форму “Request new task” на странице профиля.
    • Шаг 2: после утверждения для задачи будет выделена страницы с дашбордом, позволяющим конфигурировать задачу.
    • Шаг 3: в дашборде выберите датасеты и метрики, с помощью которых вы хотите оценить модель.
    • Шаг 4: загрузите модель.
    • Шаг 5: если обучение позволило улучшить модель, вы можете загрузить новую версию модели для новой итерации улучшения.

    Цель Dynatask — создание более целостных систем оценки моделей искусственного интеллекта, выходящих за рамки оценки только их точности.

    Сервис доступен по ссылке.

    Подписаться
    Уведомить о
    guest
    0 Comments
    Межтекстовые Отзывы
    Посмотреть все комментарии