#unrealneural
EvoLM: в поисках динамики обучения модели утраченного языка

«Мы представляем EvoLM, набор моделей, который позволяет проводить систематический и прозрачный анализ динамики обучения LM на этапе предварительного обучения, непрерывного предварительного обучения, контролируемой тонкой настройки и обучения с подкреплением. Обучая более 100 LM с параметрами 1B и 4B с нуля, мы строго оцениваем как восходящие (моделирование языка), так и нисходящие (решение проблем) способности к рассуждению, включая рассмотрение как внутридоменного, так и внедоменного обобщения».

https://arxiv.org/abs/2506.16029

AI LAB | Лаборатория ИИ

#unrealneural
EvoLM: в поисках динамики обучения модели утраченного языка

«Мы представляем EvoLM, набор моделей, который позволяет проводить систематический и прозрачный анализ динамики обучения LM на этапе предварительного обучения, непрерывного предварительного обучения, контролируемой тонкой настройки и обучения с подкреплением. Обучая более 100 LM с параметрами 1B и 4B с нуля, мы строго оцениваем как восходящие (моделирование языка), так и нисходящие (решение проблем) способности к рассуждению, включая рассмотрение как внутридоменного, так и внедоменного обобщения».

https://arxiv.org/abs/2506.16029

hottg.com/unrealneural/1647

406 viewsАртур Ишмаев, Jun 24 at 05:07