Выяснилось что слитые веса были от Stable Audio Open 1.0

Stability релизнули открытую версию Stable Audio. Модель с архитектурой от Stable Audio 2, натренированная на открытых данных (FreeSound и Free Music Archive).

По заявлениям Stability она подходит для генерации звуковых эффектов, но с музыкой там не очень (что и показал мой опыт её использования).

Блогпост
Веса

@ai_newz

А теперь гвоздь номера, за который мой глаз зацепился – эта генерация меня больше всего впечатлила. По одной фотке китайцы генерят видео, как человек "поёт и танцует". Выглядит вау!

Обратите внимание, какая консистентность между кадрами, ничего не прыгает и не дёргается как в покадровых контролнетах. Пишут на сайте, что используют 3д реконструкцию лица и тела как дополнительные conditions для генерации.

Целятся в тикток, однозначно.

@ai_newz

Когда у нас закончатся данные для тренировки?

Короткий ответ - осталось на донышке. Если говорить о текстовых.

Ребята из Epoch AI провели добротную оценку оставшейся текстовой информации во всем вебе.

Всего примерно 500Т токенов, из них юзабельно от силы 100Т. Иии закончатся они уже к 28 году... если брать историческую скорость развития.

Но уважаемые коллеги из Мета показали нам, что количество токенов, которое оптимально использовать для модели фиксированного размера (шиншила оптимал), сильно занижено. А точнее, если есть лишний компьют, то можно и потренировать и дольше, чтобы выжать из модели всё до конца.

Так вот если перетренировывать модели в 5 раз, то дата у нас закончится в 27м, а если в 100 раз, то на следующий новый год в 25м : )
Для справки, если забыли, то LlaMa3-8B перетренировали в 70 раз. Вот здесь об этом писал подробнее.

Что делать?

Оказалось, что у соцсетей есть жёсткий читкод. До этого говорилось только об открытой инфе, которую можно нагуглить. Оказывается, в чатиках в 10 раз (очень примерно) больше данных чем во всем вебе.

Поэтому те компании, которые научатся использовать эти данные могут оказаться на коне. Хотя данные из соцсетей и так парсят все кому не лень, но сделать это на большом масштабе по-черному вряд-ли получится из-за лимитов и банов.

Еще есть второй способ выхода из данного плато (все равно в чатиках какая-то дичь) – это synthetic data, когда нейросетки "учат" друг друга. Но там есть свои ещё нерешённые проблемы с качеством таких данных.

Ещё добавлю сюда, что мультимодальные данные (вроде видео с YouTube) будут в скором времени тоже очень сильно решать для больших нейросетей. Пока ведь этот богатый ресурс из миллионов часов видео никто активно не использует для обучения.

В общем, если с текстовыми данными и будет затык в ближайшие 5 лет, то есть ещё куча мультимодальных данных (подкасты, видео, игры). А ещё мы сможем запустить роботов собирать данные в реальном мире, как например это делает Тесла.

Тред
Репорт 

@ai_newz

Qwen 2 - новый китайский лидер

Идёт в 5 размерах:
➖0.5B - работает в браузере, 32k контекста,
➖1.5B - 32k контекста,
➖7B - 128k контекста,
➖57B-A14B - MoE версия для дешёвого инференса, 64k контекста
➖72B - 128k контекста.

72B модель обгоняет LLaMa 3 на бенчмарках, но на арене от неё отстаёт во всём кроме китайского. Остальные модели по бенчмарках лидеры в своих весовых категориях, но и по поводу них есть сомнения, авторы Qwen ранее были замечены в тренировке своих моделей на бенчах.

Архитектура практически идентична LLaMa. Единственное исключение - MoE версия, но про её архитектуру, я уже рассказывал, с тех пор она мало изменилась.

У всех моделей, кроме старшей, лицензия Apache 2.0. У 72B своя лицензия, похожая на лицензию ламы. Отличия: нет требования в тюнах указывать название оригинала и нижняя планка MAU, при которой необходимо получать лицензию - это 100 миллионов пользователей, а не 700 миллионов, как у ламы.

Блогпост
Демка
Веса

@ai_newz