🌟 Qwen2-Math: набор моделей для математических вычислений.

Qwen2-Math - специализированный англоязычный набор моделей на базе LLM Qwen2 для математических вычислений. Всего в релиз вошло 6 вариантов с разной плотностью параметров, от 1.5B до 72B.
Старшая модель Qwen 2-Math-72B предназначена для сложных математических вычислений и подходит для задач, требующих глубокого обучения и обширной обработки данных. Версия "Instruct" этой модели, Qwen 2-Math-72B-Instruct, получила дополнительные настройки, которые позволяют ей точно следовать инструкциям пользователя.

Список моделей на HF:

🟢Qwen2-Math-72B
🟢Qwen2-Math-72B-Instruct
🟢Qwen2-Math-7B
🟢Qwen2-Math-7B-Instruct
🟢Qwen2-Math-1.5B
🟢Qwen2-Math-1.5B-Instruct

Qwen2-Math прошли предварительное обучение на тщательно разработанном датасете, который содержит большие качественные математические веб-тексты, книги, экзаменационные вопросы и данные для предварительного обучения математике, синтезированные Qwen2.
Qwen2-Math тестировались на трех популярных англоязычных математических бенчмарках GSM8K, Math и MMLU-STEM и трех китайских математических тестах CMATH, GaoKao Math Cloze и GaoKao Math QA
Результаты показывают, что флагманская модель Qwen2-Math-72B-Instruct превосходит GPT-4o, Claude-3.5-Sonnet, Gemini-1.5-Pro и Llama-3.1-405B.

▶️Системные рекомендации по железу такие же, как для моделей семейства Qwen2-series LLM:

🟢Qwen2-Math-1.5B, BF16, Transformers, input length 6144 / 14336 / 30720 - 9 / 16 / 30 Gb GPU VRAM;
🟢Qwen2-Math-7B, BF16, Transformers, input length 6144 / 14336 / 30720 - 14 / 28 / 43 Gb GPU VRAM;
🟠Qwen2-Math-72B, BF16, Transformers, input length 6144 / 14336 / 30720 - 144 Gb x2 GPU/ 170 Gb x3 GPU / 209 Gb x3 GPU VRAM.


📌Лицензирование : Apache 2.0 для base и instruct моделей 1.5B и 7B, Tongyi Qianwen для 72B и 72B Instruct.


🟡Страница проекта
🟡Коллекция моделей на HF
🟡Сообщество в Discord
🖥Github [ Stars: 271 | Issues: 1 | Forks: 13]


@ai_machinelearning_big_data

#AI #LLM #ML #Qwen2