Create: Update:
Google наконец релизнули полную версию Gemma 3n
Это первая модель меньше 10 миллиардов параметров, выбившая на LMArena > 1300 баллов. Плюс это on-device, то есть модель предназначена для локального запуска.
Поддерживается текст, картинки, аудио и даже видео. По размеру есть два варианта: E2B и E4B. Буква E означает effective. По факту в моделях 5В и 8В параметров соответсвенно, но за счет архитектурных особенностей их можно запускать на железе с теми же затратами, как если бы это были 2B и 4В. На первую хватит всего 2GB.
В основе – MatFormer. Дословно «матрешечный трансформер» 🪆
Суть в том, что более крупная модель содержит меньшие версии себя. Теоретически, это значит, что модель сможет на инференсе динамически переключаться между моделями в зависимости от сложности запроса.
Пока что такое не реализовано, зато уже сейчас, имея веса одной модели, можно извлечь из нее подходящую именно под ваше железо под-модель с нужным количеством параметров.
Технически очень занятный релиз
developers.googleblog.com/en/introducing-gemma-3n-developer-guide/
Это первая модель меньше 10 миллиардов параметров, выбившая на LMArena > 1300 баллов. Плюс это on-device, то есть модель предназначена для локального запуска.
Поддерживается текст, картинки, аудио и даже видео. По размеру есть два варианта: E2B и E4B. Буква E означает effective. По факту в моделях 5В и 8В параметров соответсвенно, но за счет архитектурных особенностей их можно запускать на железе с теми же затратами, как если бы это были 2B и 4В. На первую хватит всего 2GB.
В основе – MatFormer. Дословно «матрешечный трансформер» 🪆
Суть в том, что более крупная модель содержит меньшие версии себя. Теоретически, это значит, что модель сможет на инференсе динамически переключаться между моделями в зависимости от сложности запроса.
Пока что такое не реализовано, зато уже сейчас, имея веса одной модели, можно извлечь из нее подходящую именно под ваше железо под-модель с нужным количеством параметров.
Технически очень занятный релиз
developers.googleblog.com/en/introducing-gemma-3n-developer-guide/
Google наконец релизнули полную версию Gemma 3n
Это первая модель меньше 10 миллиардов параметров, выбившая на LMArena > 1300 баллов. Плюс это on-device, то есть модель предназначена для локального запуска.
Поддерживается текст, картинки, аудио и даже видео. По размеру есть два варианта: E2B и E4B. Буква E означает effective. По факту в моделях 5В и 8В параметров соответсвенно, но за счет архитектурных особенностей их можно запускать на железе с теми же затратами, как если бы это были 2B и 4В. На первую хватит всего 2GB.
В основе – MatFormer. Дословно «матрешечный трансформер» 🪆
Суть в том, что более крупная модель содержит меньшие версии себя. Теоретически, это значит, что модель сможет на инференсе динамически переключаться между моделями в зависимости от сложности запроса.
Пока что такое не реализовано, зато уже сейчас, имея веса одной модели, можно извлечь из нее подходящую именно под ваше железо под-модель с нужным количеством параметров.
Технически очень занятный релиз
developers.googleblog.com/en/introducing-gemma-3n-developer-guide/
Это первая модель меньше 10 миллиардов параметров, выбившая на LMArena > 1300 баллов. Плюс это on-device, то есть модель предназначена для локального запуска.
Поддерживается текст, картинки, аудио и даже видео. По размеру есть два варианта: E2B и E4B. Буква E означает effective. По факту в моделях 5В и 8В параметров соответсвенно, но за счет архитектурных особенностей их можно запускать на железе с теми же затратами, как если бы это были 2B и 4В. На первую хватит всего 2GB.
В основе – MatFormer. Дословно «матрешечный трансформер» 🪆
Суть в том, что более крупная модель содержит меньшие версии себя. Теоретически, это значит, что модель сможет на инференсе динамически переключаться между моделями в зависимости от сложности запроса.
Пока что такое не реализовано, зато уже сейчас, имея веса одной модели, можно извлечь из нее подходящую именно под ваше железо под-модель с нужным количеством параметров.
Технически очень занятный релиз
developers.googleblog.com/en/introducing-gemma-3n-developer-guide/
>>Click here to continue<<
Data Secrets
