Sakana.AI продолжает рулить! Придумали Text-to-LoRA (T2L), в котором по текстовому описанию задачи обученная гиперсеть (моя любимая тема, см. https://hottg.com/gonzo_ML/1696, https://hottg.com/gonzo_ML/2394, https://hottg.com/gonzo_ML/2693) на лету генерит LoRA адаптеры и модифицирует базовую сеть. Не надо ничего обучать, даже лорой, просто пиши ясные описания задач!
https://hottg.com/gonzo_ML_podcasts/268
Я бы ожидал, что LLM следующих поколений будут иметь что-то подобное внутри. Может не лора адаптеры будут генерить, а сразу активации модифицировать. Крутой движ.
>>Click here to continue<<