Нейросети уже давно и прочно обосновались в интернете. Они пишут тексты, создают поэмы, генерят изображения и картины, которые могут составить конкуренцию профессиональным художникам. Но это еще не все. Другой вид деятельности нейросеток — музыкальное творчество. Да, да. Нейросети научились писать музыку! Причем музыку они создают, как и картины — просто по обычному текстовому описанию.
Такая сеть, недавно появившаяся на свет, называется Riffusion. Принцип работы заключается в обработке сонограмм, то есть обычных плоских изображений динамики мощности сигнала во времени.
Разработчики Riffusion создали очень интересный айти проект — они додумались до простой вещи, которая слегка перевернула мир нейросетей. Так как сонограмма — это изображение, то можно обучить нейросети создавать музыку, связав готовые сонограммы с текстовыми описаниями музыкальных жанров или звуков.
В итоге нейросеть научилась генерить сонограммы по текстовой фразе. Например, «8-ми битный хард рок» или «музыка в стиле лаунж» (правда, писать нужно на английском).
Полученные изображения можно сконвертировать в привычную звуковую дорожку, используя специальные библиотеки.
Первые тесты показывают весьма неплохой результат, но нужно грамотно формулировать текстовый запрос. Слишком сложные или непонятные описания Riffusion пока еще не очень хорошо воспринимает. Но вот неплохую инструменталку ей написать вполне под силу. Неплохое бизнес решение для digital маркетинга, если нет возможности писать самому, а звуковая дорожка нужна до зарезу.