Google розробляє ШІ-модель для створення звуку до відео

Google DeepMind представив технологію на основі ШІ V2A, яка автоматично створює аудіо для відео без текстових підказок, пише Mashable. Ми вибрали головне.

Що сталося

Компанія Google DeepMind розробляє технологію на базі ШІ для створення саундтреків до відео. Технологія V2A (video to audio) створена для автоматичного генерування музики, звукових ефектів та діалогів для відео на основі текстових описів.

V2A працює, використовуючи модель, яка навчається на основі візуальних даних, мовних підказках та відеоанотаціях, щоб перетворювати випадковий шум у звук, що відповідає тону та контексту відео.

У компанії кажуть, що нова технологія може розпізнавати зображення, тому текстові підказки не потрібні, але вони можуть допомогти зробити звук точнішим. DeepMind вже опублікував кілька відео, серед яких:

• відео темного, моторошного коридору, що супроводжується музикою жахів;
• самотнього ковбоя на заході сонця під приємну мелодію губної гармошки;
• анімовані фігури, які розповідають про свою вечерю.

Окрім того, V2A використовуватиме водяні знаки Google SynthID для захисту створеного вмісту від підробки. Наразі нова технологія перебуває на етапі тестування.

Чому це цікаво

Google працює над розробкою мультимодальної генеративної технології ШІ, щоб конкурувати з іншими компаніями:

• OpenAI має свій ШІ-генератор відео Sora (ще не випущений) і GPT-4o.
• Meta і Suno вже вивчають аудіо та музику, створені ШІ, але поєднання аудіо з відео є відносно новим.
• ElevenLabs має подібний інструмент, який поєднує аудіо з текстовими підказками, але DeepMind стверджує, що V2A відрізняється тим, що не потребує текстових підказок.