Microsoft представила Jigsaw – инструмент откладки выдачи text-to-code моделей путем предоставления примеров выходных данных. При работе с Python Pandas инструмент позволил повысить точность Codex более чем в два раза.
C использованием языковых моделей, таких как Codex, разработчик может предоставить описание задачи и получить соответствующий ей блок кода. Однако синтезированный код может содержать ошибки. Jigsaw позволяет автоматизировать проверку такого кода.
Jigsaw принимает в качестве входных данных описание предполагаемого кода на английском языке, а также пример входных и выходных данных. Таким образом, он связывает входные данные с соответствующими выходными данными и обеспечивает гарантию качества того, что сгенерированный код будет скомпилирован и решит поставленную задачу: как только модель сгенерирует код, Jigsaw проверяет, удовлетворяет ли он примеру ввода-вывода.
В Microsoft провели оценку Jigsaw в связке с Codex на нескольких датасетах и измерили процент верных блоков кода к общему числу. «Чистый» Codex имеет точность около 30%. Jigsaw повышает точность до более чем 60%.
На текущий момент Jigsaw поддерживает только Python Pandas.
