VALL E Нейросеть

VALL E Нейросеть – утилита для ОС Android, в основе которой лежит математическая модель от Microsoft. Текущая версия алгоритма позволяет довольно точно имитировать речь другого человека. Трехсекундной записи достаточно для полноценного обучения алгоритма.

Принцип работы

В основе сервиса лежит классический алгоритм искусственного интеллекта. Основной функционал завязан на библиотеке LibriLight, которая использует свыше 60 часов речи (только английский язык).

В отличие от большинства аналогичных сервисов модель, используемая для VALL E Нейросеть, не использует звуковые волны. Для выявления ключевых особенностей речи используется разбивка ее на специальные токены. Схема весьма эффективна, что и объясняет возможность обучения при помощи короткой записи.

Алгоритм также может дополнительно добавлять к речи различные эмоции (злость, радость, грусть и так далее). Есть возможность наложить звуки окружения.

Доступность

На момент публикации Microsoft пока не открыла доступ к новому алгоритму. Мотивирует это компания тем, что возможности сервиса могут массово использовать злоумышленники.

Для ознакомления пользователям предлагается перейти на официальную страницу, где опубликованы демонстрационные образцы сгенерированной речи. Этого вполне достаточно, чтобы оценить возможности ИИ.

Особенности

• алгоритм способен точно имитировать речь определенного человека;
• бесплатный доступ к демонстрационным образцам аудио;
• для входных данных достаточно записи, длиной 3 секунды;
• в процессе создания модели активно использовалась технология EnCodec;
• возможность добавлять в речь определенные эмоции.