НОВОСТИ

В MIT научили ИИ распознавать музыкальные инструменты по видео

06 July 2018, 18:35
2 мин чтения
Добавить в закладки

Любую статью можно сохранить в закладки на сайте, чтобы прочесть ее позже.

Режим чтения увеличивает текст, убирает всё лишнее со страницы и даёт возможность сосредоточиться на материале. Здесь вы можете отключить его в любой момент.
Режим чтения

Режим чтения увеличивает текст, убирает всё лишнее со страницы и даёт возможность сосредоточиться на материале. Здесь вы можете отключить его в любой момент.

Искусственный интеллект PixelPlayer, разработанный в Массачусетском технологическом институте (MIT), научился выделять из музыкального файла дорожки с отдельными инструментами, сообщает MIT News.
PixelPlayer может распознавать музыкальные инструменты в аудио или видеофайлах. Разработка задействует не один, а сразу три алгоритма. Первый обрабатывает видеоряд, второй — аудиодорожку, а третий синхронизирует данные. PixelPlayer определяет звук, относящийся к каждому пикселю изображения. Таким образом нейросеть обнаруживает отдельные инструменты и определяет издаваемую мелодию.

Ключевая особенность разработки заключается в использовании метода спонтанного обучения. В аналогичных разработках ранее использовался метод контролируемого обучения. В качестве вводных данных ИИ получал маркированные аудиофайлы, ручная разметка которых требовала много времени. PixelPlayer обрабатывает видео — это позволяет отказаться от предварительной подготовки информации. Спонтанное обучение устранило человеческий фактор и ускорило процесс.
Для обучения ИИ использовали 60 часов музыкального видео.
PixelPlayer пока далек от совершенства: он может идентифицировать только 20 музыкальных инструментов и пока испытывает трудности с распознаванием похожих звуков. Разработчики ожидают, что в дальнейшем с его помощью можно будет редактировать аудио и улучшать архивные звуковые записи.

Нашли ошибку? Выделите ее и нажмите Ctrl+Enter

Загрузка...