Mistral Large 2: новой лидер в генерации кода среди open source моделей

Performance accuracy on code generation benchmarks (all models were benchmarked through the same evaluation pipeline) — Performance accuracy on code generation benchmarks

Mistral AI представила Mistral Large 2, которая устанавливает новый бенчмарк в генерации кода среди open source моделей, незначительно уступая GPT-4 omni. Mistral Large 2 превосходит Llama 3.1 в генерации кода и математике, при этом модель в 2,5 раза меньше. Mistral Large 2 имеет архитектуру с 123 миллиардами параметров и контекстным окном на 128 тысяч токенов, предназначенную для работы на одной ноде.

Основные особенности Mistral Large 2

Контекстное окно: Поддерживает до 128 тысяч токенов, что позволяет обрабатывать и генерировать обширные последовательности.
Многоязычная поддержка: Включает поддержку множества языков, таких как французский, немецкий, испанский, итальянский, португальский, арабский, хинди, русский, китайский, японский и корейский.
Генерация кода: Поддерживает более 80 языков программирования, включая Python, Java, C, C++, JavaScript и Bash, делая его высоко универсальным для различных программных нужд.
Рассуждения и точность: Модель была донастроена для минимизации галлюцинаций. Она также распознает, когда у нее недостаточно информации для уверенного ответа.

Результаты и сравнения

Mistral Large 2 устанавливает новую планку в производительности и экономической эффективности. Модель достигает точности 84.0% на бенчмарке MMLU, превосходя предыдущие модели. Она также демонстрирует результаты на уровне ведущих моделей, таких как GPT-4o, Claude 3 Opus и Llama 3 405B, в бенчмарках генерации кода.

Примечательно, что LLAMA 3.1 на тестах, проведенными командой Mistral, показывает результаты даже лучше, чем в официальном пейпере разработчиков LLAMA.

Точность выполнения на бенчмарке MultiPL-E — Точность на бенчмарке MultiPL-E

Доступ к модели

Mistral Large 2 доступна на ла Plateforme под именем mistral-large-2407, с весами для инструкционной модели, размещенной на HuggingFace. Модель также доступна через ведущих облачных провайдеров, включая Google Cloud Platform, Azure AI Studio, Amazon Bedrock и IBM watsonx.ai.

Лицензия Mistral Large 2

Исследовательская лицензия: Позволяет использование и модификацию для исследовательских и некоммерческих целей.
Коммерческая лицензия: Требуется для самостоятельного развертывания в коммерческих приложениях, доступна при обращении в Mistral AI.

Заключение

Mistral Large 2 устанавливает новый стандарт в моделях генерации кода с открытым исходным кодом, предлагая непревзойденные возможности в генерации кода, рассуждениях и многоязычной поддержке. Ее эффективная архитектура и выдающаяся производительность делают ее ценным инструментом для разработки инновационных AI-приложений.