Маск пытается в OpenAI 2.0

Его новая компания xAI, выложила 314B (а это реально Пи3дец как много для опенсорса) MoE модель Grok-1.

По метрикам, пишут, что лучше чем GPT-3.5, но, имхо для 314B звезд с неба не хватает. Реализация на:

import haiku as hk
import jax

Из интересного, это самый большой опенсорс (в текущем поколении моделей), да еще и под лицензией apache. Ну а пока, кажется, что 46.7B (8x7B MoE) Mixtral или Hermes-Mixtral (ну и если нужно полегче 7B Mistral / Hermes-Mistral или совсем лайтовую 2.7B phi2) самое адекватное, что есть из опенсорса.

Код здесь. https://github.com/xai-org/grok-1

Мишин Лернинг 🇺🇦🇮🇱

Маск пытается в OpenAI 2.0

Его новая компания xAI, выложила 314B (а это реально Пи3дец как много для опенсорса) MoE модель Grok-1.

По метрикам, пишут, что лучше чем GPT-3.5, но, имхо для 314B звезд с неба не хватает. Реализация на:

import haiku as hk
import jax

Из интересного, это самый большой опенсорс (в текущем поколении моделей), да еще и под лицензией apache. Ну а пока, кажется, что 46.7B (8x7B MoE) Mixtral или Hermes-Mixtral (ну и если нужно полегче 7B Mistral / Hermes-Mistral или совсем лайтовую 2.7B phi2) самое адекватное, что есть из опенсорса.

Код здесь. https://github.com/xai-org/grok-1

❤37👍6

hottg.com/mishin_learning/1766

10.4K viewsedited  Mar 18, 2024 at 09:17