Riffusion

Riffusion – приложение для Android, которое позволяет генерировать музыку на основе текстового описания. Используется специализированная нейросеть, обученная на обширной подборке треков в разных стилях.

Генератор музыки

В основе платформы лежит популярная нейросеть Stable Diffusion. Встроенные алгоритмы на начальном этапе генерируют визуальное отображение звука в формате сонограммы, после чего переводят данные в аудио.

В процессе обучения использовать различные данные – мелодии, ритмы, аккорды, особенности структуры песен в разных жанрах и так далее. Это позволяет ИИ генерировать уникальные фрагменты, используя в качестве основы изученные композиции.
При этом от пользователя не требуются специальные знания или навыки. Достаточно в свободной форме указать основные особенности композиции.

Платформа распознает и реализует разные настроения и стили музыки. К примеру, если запрос подразумевает композицию в жанре рок, то нейросеть будет активно использовать динамичные басовые линии, ударные соло и другие элементы. Сочетание особенностей позволяет экспериментировать для получения уникального трека.

Применение

Доступ к платформе полностью бесплатен, регистрация также не требуется. Специальные навыки или сложные настройки не предусмотрены. Пользователю достаточно в свободной форме указать описание, особенности трека и выбрать нужный жанр. Для этого предусмотрена специальная форма. После подтверждения ввода данных будет сгенерирована новая композиция. Встроенный плеер позволяет сразу запустить воспроизведение.

Сервис активно сотрудничает с музыкантами разного уровня – они получают возможность генерировать основу для своих проектов, дорабатывая их вручную. Это заметно упрощает весь процесс работы.

Модель способна адаптироваться к предпочтениям определенного пользователя. Также есть возможность дополнительно обучать нейросеть при помощи собственных треков. В дальнейшем обновленный набор данных будет использоваться для новых проектов. В этом случае платформа сразу адаптирует контент под стиль пользователя, облегчая создание текстового запроса.

После завершения работы мелодия сохраняется в формате MP3. Есть возможность указать название файла и папку.

Особенности

• генерация мелодий при помощи нейросети;
• функция шумоподавления;
• простой интерфейс;
• выбор жанра;
• бесплатная загрузка.