• Jigsaw: инструмент Microsoft для работы с text-to-code моделями

    Microsoft представила Jigsaw – инструмент откладки выдачи text-to-code моделей путем предоставления примеров выходных данных. При работе с Python Pandas инструмент позволил повысить точность Codex более чем в два раза.

    C использованием языковых моделей, таких как Codex, разработчик может предоставить описание задачи и получить соответствующий ей блок кода. Однако синтезированный код может содержать ошибки. Jigsaw позволяет автоматизировать проверку такого кода.

    Jigsaw принимает в качестве входных данных описание предполагаемого кода на английском языке, а также пример входных и выходных данных. Таким образом, он связывает входные данные с соответствующими выходными данными и обеспечивает гарантию качества того, что сгенерированный код будет скомпилирован и решит поставленную задачу: как только модель сгенерирует код, Jigsaw проверяет, удовлетворяет ли он примеру ввода-вывода.

    В Microsoft провели оценку Jigsaw в связке с Codex на нескольких датасетах и измерили процент верных блоков кода к общему числу. «Чистый» Codex имеет точность около 30%. Jigsaw повышает точность до более чем 60%.

    На текущий момент Jigsaw поддерживает только Python Pandas.

    Подписаться
    Уведомить о
    guest
    0 Comments
    Межтекстовые Отзывы
    Посмотреть все комментарии