В MIT научили ИИ распознавать музыкальные инструменты по видео
Искусственный интеллект PixelPlayer, разработанный в Массачусетском технологическом институте (MIT), научился выделять из музыкального файла дорожки с отдельными инструментами, сообщает MIT News.
PixelPlayer может распознавать музыкальные инструменты в аудио или видеофайлах. Разработка задействует не один, а сразу три алгоритма. Первый обрабатывает видеоряд, второй — аудиодорожку, а третий синхронизирует данные. PixelPlayer определяет звук, относящийся к каждому пикселю изображения. Таким образом нейросеть обнаруживает отдельные инструменты и определяет издаваемую мелодию.
Ключевая особенность разработки заключается в использовании метода спонтанного обучения. В аналогичных разработках ранее использовался метод контролируемого обучения. В качестве вводных данных ИИ получал маркированные аудиофайлы, ручная разметка которых требовала много времени. PixelPlayer обрабатывает видео — это позволяет отказаться от предварительной подготовки информации. Спонтанное обучение устранило человеческий фактор и ускорило процесс.
Для обучения ИИ использовали 60 часов музыкального видео.
PixelPlayer пока далек от совершенства: он может идентифицировать только 20 музыкальных инструментов и пока испытывает трудности с распознаванием похожих звуков. Разработчики ожидают, что в дальнейшем с его помощью можно будет редактировать аудио и улучшать архивные звуковые записи.
- Разработчики из DeepMind при помощи нейросетей научили систему искусственного интеллекта играть в Quake III Arena лучше, чем живые игроки.