Как музыкант, поигрался с генеративными музыкальными нейросетями. Конкретно - с Udio.
Впечатления смешанные. Во-первых, никакого влияния на процесс кроме смутного описания, которое нейросеть читает через пень-колоду.
(здесь надо отметить, что по умолчанию промпт прогоняется через промежуточную нейросеть, которая его как-то "улучшает", это отключается галочкой "ручной режим", тогда ваши слова напрямую гонятся в генеративную сетку)
Единственный способ что-то переделать - попробовать заново и надеяться, что на кубиках выпадет правильное число и получится что-то правильное.
Нейросеть постоянно то забывает петь, то ждет лишние такты перед куплетом, то начинает галлюцинировать и петь бессмыслицу вместе с/ вместо моих введенных слов.
Во-вторых, саунд иногда оставляет желать лучшего, и "довести" его особо никак нельзя, разве что прогнать финальную мп3шку через плагины в DAW. Самые частые искажения - отсутствующие низы и отсутствующие верха. Иногда эта проблема есть, иногда ее нет. Временами результат звучит так, будто у него хороший микс и мастер.
С другой стороны, понравилась "блочная" сборка. Нейросеть генерирует фрагменты по 32 секунды, потом от них можно развивать фрагмент (либо целиком, либо можно отрезать от него начало/конец), генерируя разные продолжения. Нашлось подходящее - начинаешь строиться еще дальше от него. Ходишь по дереву вариантов, можно одновременно по нескольким веткам прийти к разным результатам. У этих результатов общее начало, но в какой-то момент они "расщепляются", и дальше идет уже разная музыка.
На каждый этап можно выбирать новый промпт (можно КРИЧАТЬ на нейросеть капсом - например, чтобы уж точно не забыла вокал), добавить следующие несколько строк текста и т.д. И смотреть, что получается.
В итоге сгенерировалась песенка в стиле диско специально для Дорогого Брата по Гиперложе Антона Русинова (канал "История гиперинформации").
Слова: товарищ @springshattered и Великий Хомяк @grandhamstergms.
Музыка: ваш покорный слуга и нейросеть Udio.
Простите, полностью избавиться от артефактов/галлюцинаций не вышло.
>>Click here to continue<<