Выложили квантизованную в 4️⃣ бита модель DeepSeek-R1-0528!
✅ Качество при ризонинге сохраняется на 99,82% (среднее по AIME/GPTQ/MATH500).
🔊 DeepSeek-R1-0528 стал ещё более "болтливым" 🗣, поэтому для лучших результатов (как исходной, так и квантизованной модели) рекомендуется увеличить контекст до 65К токенов.
Модель на 🤗:
- ISTA-DASLab/DeepSeek-R1-0528-GPTQ-4b-128g-experts
>>Click here to continue<<
