🧠 Хочешь понять, на чём основана модель Gemma 3n от Google?

Вот ключевые научные работы, стоящие за её архитектурой и обучением:

🔹 AltUp — улучшение аппроксимации внимания
https://arxiv.org/abs/2301.13310

🔹 LAuReL — расширение языковых моделей за счёт многоязычного претрейнинга
https://arxiv.org/abs/2411.07501

🔹 MatFormer — матричная факторизация для масштабируемых LLM
https://arxiv.org/abs/2310.07707

🔹 Activation Sparsity — обучение моделей с разреженной активацией
https://arxiv.org/abs/2506.06644

🔹 Universal Speech Model — единая модель для понимания и генерации речи
https://arxiv.org/abs/2303.01037

📘 Блог Google с обзором архитектуры и практическим гайдом по Gemma 3n:
https://developers.googleblog.com/en/introducing-gemma-3n-developer-guide/

Анализ данных (Data analysis)

🧠 Хочешь понять, на чём основана модель Gemma 3n от Google?

Вот ключевые научные работы, стоящие за её архитектурой и обучением:

🔹 AltUp — улучшение аппроксимации внимания
https://arxiv.org/abs/2301.13310

🔹 LAuReL — расширение языковых моделей за счёт многоязычного претрейнинга
https://arxiv.org/abs/2411.07501

🔹 MatFormer — матричная факторизация для масштабируемых LLM
https://arxiv.org/abs/2310.07707

🔹 Activation Sparsity — обучение моделей с разреженной активацией
https://arxiv.org/abs/2506.06644

🔹 Universal Speech Model — единая модель для понимания и генерации речи
https://arxiv.org/abs/2303.01037

📘 Блог Google с обзором архитектуры и практическим гайдом по Gemma 3n:
https://developers.googleblog.com/en/introducing-gemma-3n-developer-guide/

hottg.com/data_analysis_ml/3759

3.1K viewsJul 2 at 07:31