![Performance accuracy on code generation benchmarks (all models were benchmarked through the same evaluation pipeline)](https://neurohive.io/wp-content/uploads/2024/07/himan-eval.png)
Mistral AI представила Mistral Large 2, которая устанавливает новый бенчмарк в генерации кода среди open source моделей, незначительно уступая GPT-4 omni. Mistral Large 2 превосходит Llama 3.1 в генерации кода и математике, при этом модель в 2,5 раза меньше. Mistral Large 2 имеет архитектуру с 123 миллиардами параметров и контекстным окном на 128 тысяч токенов, предназначенную для работы на одной ноде.
Основные особенности Mistral Large 2
- Контекстное окно: Поддерживает до 128 тысяч токенов, что позволяет обрабатывать и генерировать обширные последовательности.
- Многоязычная поддержка: Включает поддержку множества языков, таких как французский, немецкий, испанский, итальянский, португальский, арабский, хинди, русский, китайский, японский и корейский.
- Генерация кода: Поддерживает более 80 языков программирования, включая Python, Java, C, C++, JavaScript и Bash, делая его высоко универсальным для различных программных нужд.
- Рассуждения и точность: Модель была донастроена для минимизации галлюцинаций. Она также распознает, когда у нее недостаточно информации для уверенного ответа.
Результаты и сравнения
Mistral Large 2 устанавливает новую планку в производительности и экономической эффективности. Модель достигает точности 84.0% на бенчмарке MMLU, превосходя предыдущие модели. Она также демонстрирует результаты на уровне ведущих моделей, таких как GPT-4o, Claude 3 Opus и Llama 3 405B, в бенчмарках генерации кода.
Примечательно, что LLAMA 3.1 на тестах, проведенными командой Mistral, показывает результаты даже лучше, чем в официальном пейпере разработчиков LLAMA.
![Точность выполнения на бенчмарке MultiPL-E](https://neurohive.io/wp-content/uploads/2024/07/Performance-accuracy-on-MultiPL-E--770x289.png)
Доступ к модели
Mistral Large 2 доступна на ла Plateforme под именем mistral-large-2407, с весами для инструкционной модели, размещенной на HuggingFace. Модель также доступна через ведущих облачных провайдеров, включая Google Cloud Platform, Azure AI Studio, Amazon Bedrock и IBM watsonx.ai.
Лицензия Mistral Large 2
- Исследовательская лицензия: Позволяет использование и модификацию для исследовательских и некоммерческих целей.
- Коммерческая лицензия: Требуется для самостоятельного развертывания в коммерческих приложениях, доступна при обращении в Mistral AI.
Заключение
Mistral Large 2 устанавливает новый стандарт в моделях генерации кода с открытым исходным кодом, предлагая непревзойденные возможности в генерации кода, рассуждениях и многоязычной поддержке. Ее эффективная архитектура и выдающаяся производительность делают ее ценным инструментом для разработки инновационных AI-приложений.