А вот это интересно: в стартапе Prime Intellect впервые децентрализованно обучили крупную LM

Сервера для обучения были разбросаны по всему миру: Европа, Азия, США. При этом в компьют контрибьютили не только крупные партнеры типа HF, но и простые обыватели. К слову, вот тут есть инструкция, как подключить свой домашний сервер, это все еще можно сделать.

В самой модели 10B параметров и обучали ее по технологии DeepMind. Бенчмарков нет, но создатели сообщают, что истинной их целью было не выбить высокие метрики, а показать, что даже небольшие организации с помощью комьюнити и децентарлизованного обучения могут конкурировать с гигантами и бороться против монополии на ИИ.

Веса модели и код обещают скоро выложить в опенсорс

Data Secrets ✔

А вот это интересно: в стартапе Prime Intellect впервые децентрализованно обучили крупную LM

Сервера для обучения были разбросаны по всему миру: Европа, Азия, США. При этом в компьют контрибьютили не только крупные партнеры типа HF, но и простые обыватели. К слову, вот тут есть инструкция, как подключить свой домашний сервер, это все еще можно сделать.

В самой модели 10B параметров и обучали ее по технологии DeepMind. Бенчмарков нет, но создатели сообщают, что истинной их целью было не выбить высокие метрики, а показать, что даже небольшие организации с помощью комьюнити и децентарлизованного обучения могут конкурировать с гигантами и бороться против монополии на ИИ.

Веса модели и код обещают скоро выложить в опенсорс

hottg.com/data_secrets/5512

11.6K viewsNov 25, 2024 at 15:07