Наглядное руководство по квантованию — демистификация сжатия LLM

Большие языковые модели (LLM) часто слишком велики для запуска на потребительском оборудовании. Эти модели могут содержать миллиарды параметров и, как правило, требуют графических процессоров с большим объемом видеопамяти для ускорения вывода. Таким образом, все больше исследований было сосредоточено на том, чтобы сделать эти модели меньше за счет улучшения обучения, адаптеров и т. д. Одна из основных методик в этой области называется квантованием. В этой статье я представлю область квантования в контексте моделирования языка и рассмотрю концепции одну за другой, чтобы развить интуицию об этой области. Мы рассмотрим различные методологии, варианты использования и принципы, лежащие в основе квантования… https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization

Интерпретируемое машинное обучение

Руководство по созданию объяснимых моделей черного ящика
https://christophm.github.io/interpretable-ml-book

Big data world

Наглядное руководство по квантованию — демистификация сжатия LLM

Большие языковые модели (LLM) часто слишком велики для запуска на потребительском оборудовании. Эти модели могут содержать миллиарды параметров и, как правило, требуют графических процессоров с большим объемом видеопамяти для ускорения вывода. Таким образом, все больше исследований было сосредоточено на том, чтобы сделать эти модели меньше за счет улучшения обучения, адаптеров и т. д. Одна из основных методик в этой области называется квантованием. В этой статье я представлю область квантования в контексте моделирования языка и рассмотрю концепции одну за другой, чтобы развить интуицию об этой области. Мы рассмотрим различные методологии, варианты использования и принципы, лежащие в основе квантования… https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization

Интерпретируемое машинное обучение

Руководство по созданию объяснимых моделей черного ящика
https://christophm.github.io/interpretable-ml-book

Maartengrootendorst

A Visual Guide to Quantization

Exploring memory-efficient techniques for LLMs

hottg.com/bigdata_world/1313

446 viewsAug 6, 2024 at 14:35