🦙 Релиз Llama 3.2 от Meta

На этот раз нам предоставили выбор аж из четырех моделей, включая, в том числе, и достаточно легковесные и мультимодальные версии:

▫️Llama 3.2 — 1B (1.23B) Lightweight
▫️Llama 3.2 — 3B (3.21B) Lightweight
▫️Llama 3.2 — 11B Multimodal
▫️Llama 3.2 — 90B Multimodal

Обзор: Llama 3.2 была предварительно обучена на 9 триллионах токенов данных из общедоступных источников.

Претрейн моделей 1B и 3B Llama 3.2 являются дистилом из Llama 3.1 8B и 70B (предиктили не следующий токен, а логиты из старших моделей)

В инстракт трейне использовали аналогичный рецепт, что и Llama 3.1:
— Supervised Fine-Tuning (SFT)
— Rejection Sampling (RS)
— Direct Preference Optimization (DPO)

Сutoff: Декабрь 2023

P.S.: Круто, что подвезли мультимодальные 11B и 90B. А среди легковесных — 3B модель вышла очень интересной, и по моему тесту она даже лучше, чем Phi-3.5-mini (3.8B), которая очень неплохо справляется в своей весовой категории.

🤗 Скачать 1B и 3B легковесные версии можно уже сейчас на HuggingFace

Мишин Лернинг 🇺🇦🇮🇱

🦙 Релиз Llama 3.2 от Meta

На этот раз нам предоставили выбор аж из четырех моделей, включая, в том числе, и достаточно легковесные и мультимодальные версии:

▫️Llama 3.2 — 1B (1.23B) Lightweight
▫️Llama 3.2 — 3B (3.21B) Lightweight
▫️Llama 3.2 — 11B Multimodal
▫️Llama 3.2 — 90B Multimodal

Обзор: Llama 3.2 была предварительно обучена на 9 триллионах токенов данных из общедоступных источников.

Претрейн моделей 1B и 3B Llama 3.2 являются дистилом из Llama 3.1 8B и 70B (предиктили не следующий токен, а логиты из старших моделей)

В инстракт трейне использовали аналогичный рецепт, что и Llama 3.1:
— Supervised Fine-Tuning (SFT)
— Rejection Sampling (RS)
— Direct Preference Optimization (DPO)

Сutoff: Декабрь 2023

P.S.: Круто, что подвезли мультимодальные 11B и 90B. А среди легковесных — 3B модель вышла очень интересной, и по моему тесту она даже лучше, чем Phi-3.5-mini (3.8B), которая очень неплохо справляется в своей весовой категории.

🤗 Скачать 1B и 3B легковесные версии можно уже сейчас на HuggingFace

👍16❤9🔥4

hottg.com/mishin_learning/1786

7.78K viewsedited  Sep 26, 2024 at 12:36