Microsoft розробила нейромережу, яка може перетворити Мону Лізу на репера — відео

Microsoft випустила нейромережу VASA-1, яка здатна створювати реалістичні відео людини за допомогою лише однієї фотографії та аудіозапису. Цю інформацію Microsoft опублікувала у своєму блоці.

Що сталося

Інженери дослідного азійського підрозділу Microsoft створили нейромережу VASA-1. Вона здатна генерувати реалістичні відео людини, використовуючи для цього лиш одне фото й аудіодоріжку. 
Нейромережа вміє відтворювати реалістичні міміку та рухи голови.

VASA здатна генерувати відео роздільною здатністю 512×512 пікселів зі швидкістю до 40 кадрів в секунду в режимі онлайн із мінімальною затримкою. Крім фотографій, VASA-1 може працювати з портретами, створеними в будь-якому художньому стилі. Наприклад, в одному з демонстраційних роликів Мона Ліза з полотна Леонардо да Вінчі виконує реп.

Чому це цікаво

Попри деяку неприродність рухів вуст та голови на демонстраційних зразках, результати загалом вражають. Усвідомлюючи потенційні ризики, дослідники вирішили тимчасово утриматися від випуску продукту на ринок.

Хоча існує ризик створення дипфейків, технологія також може знайти корисне застосування. Наприклад, в освіті та для людей із труднощами у спілкуванні — щоб створювати аватари для комунікації.