Студенты НГТУ НЭТИ разработали сервис для создания AI-каверов

В Новосибирском государственном техническом университете НЭТИ разработали десктопное приложение для создания AI-каверов, которое позволяет выполнять полный цикл создания версий песен с помощью искусственного интеллекта в едином интерфейсе.

Студенты-магистранты факультета автоматики и вычислительной техники НГТУ НЭТИ Михаил Киреенко и Матвеев Данил в рамках дисциплины «Проектная детальность» под руководством преподавателя кафедры автоматизированных систем управления Егора Антонянца создали приложение для автоматизированного создания песен, в которых модель ИИ воссоздает определенный голос.

По словам Егора Антонянца, существующие решения для генерации каверов, как правило, оказываются фрагментированными. «Для создания одного трека пользователю приходится использовать несколько разных сервисов, а возможности кастомизации остаются ограниченными. Именно эта проблема подтолкнула команду программистов к разработке собственного комплексного приложения, объединяющего весь цикл создания AI-каверов в едином интерфейсе», — рассказал он.

Десктопное приложение «AI Covers» позволяет автоматизировать процесс генерации музыкальных композиций. В его основе лежит сочетание нескольких модулей, каждый из которых решает важную задачу. Первый отвечает за разделение аудиотрека на вокал и инструментальные партии. Второй реализует преобразование голоса с помощью нейронной сети, что позволяет достигать высокой точности передачи тембра и интонации. Третий модуль занимается совмещением обработанного вокала с минусовкой и другими компонентами композиции. Четвертый модуль, который отличает приложение от существующих аналогов, дает возможность пользователям обучать собственные голосовые модели, превращая сервис в инструмент персонализированного музыкального творчества.

Еще одним преимуществом разработки студентов НГТУ НЭТИ является открытость к кастомизации, когда ИИ анализирует исходный вокал и воссоздает его с помощью различных голосовых моделей. «Пользователь может не только работать с готовыми моделями, но и обучать систему на основе собственного голоса. Это открывает новые перспективы для музыкантов, педагогов и любителей музыки: от создания уникальных вокальных партий до использования технологии в образовательных целях», — рассказал Егор Антонянц.

В настоящее время приложение для создания AI-каверов почти готово. Как только разработчики улучшат качество голосовых моделей, обеспечат поддержку большего количества форматов, добавят функции тонкой настройки аудио и запустят онлайн-версию сервиса, «AI Covers» станет доступным для всех желающих сервисом с возможностью создавать собственные модели певческого голоса.

Источник: НГТУ НЭТИ