Нереально, DeepSeek V3 0324 на 685B парамтеров работает локально на M3 Ultra и полностью приватно 🔥
Работает на llama.cpp и UnslothAI
Шаг 1: brew install llama.cpp
Шаг 2: llama-cli -hf unsloth/DeepSeek-V3-0324-GGUF:Q2_K_XL
Вот и всё! 🤗
Честно говоря, выглядит сюрреалистично!
>>Click here to continue<<