تقنية جديدة من DeepMind تُضفي موسيقى وحوار على مقاطع الفيديو!
كشفت DeepMind، المختبر الذكي التابع لجوجل، عن تقنية جديدة تُمكن من إضافة الموسيقى، بل والحوار، إلى مقاطع الفيديو!
يُطلق على هذه التقنية الرائدة اسم “V2A” أو (Video-to-Audio)، وهي مصممة للعمل مع أدوات إنشاء الفيديو مثل Google Veo و OpenAI Sora.
ووفقًا لشرح فريق DeepMind على مدونة الشركة، فإن النظام قادر على تحليل البكسل وفهم محتوى الفيديو، ثم دمج هذه المعلومات مع نصوص مُحددة لتكوين المؤثرات الصوتية المُناسبة لما يحدث على الشاشة.
وليس ذلك فحسب، بل يمكن استخدام هذه الأداة أيضًا لإنشاء موسيقى تصويرية لمقاطع الفيديو التقليدية، مثل الأفلام الصامتة وأي فيديو آخر لا يحتوي على صوت.
ذكاء اصطناعي يتعلم من البيانات
اعتمد باحثو DeepMind في تدريب هذه التقنية على كميات هائلة من البيانات، شملت مقاطع فيديو وصوتيات وحتى تعليقات مُولدة بالذكاء الاصطناعي تحتوي على أوصاف مُفصّلة للأصوات ونصوص الحوار.
وهدفهم من ذلك كان تعليم النظام كيفية ربط الأصوات المُحددة بالمَشاهد البصرية.
وبحسب موقع تك كرانش، فإن DeepMind ليست أول من يُصدر أداة ذكاء اصطناعي لإنشاء المؤثرات الصوتية، فقد سبقها ElevenLabs في إصدار أداة مشابهة، لكن تقنية V2A تتميز بفهمها للبكسل الخام، مما يجعلها أكثر دقة وواقعية.
تحكم دقيق في النتائج
يُمكن استخدام نصوص مُحددة مع تقنية V2A لتوجيه النتائج وتشكيلها بما يتناسب مع رغبة المستخدم.
فيمكن استخدام النصوص الإيجابية لتوجيه النظام نحو نوعية معينة من الأصوات، بينما يمكن استخدام النصوص السلبية لمنعه من إنشاء أصوات غير مرغوب بها.
على سبيل المثال، في أحد الأمثلة، استخدم فريق DeepMind النص التالي: “موسيقى سينمائية، فيلم إثارة، رعب، توتر، أجواء، خطوات على الخرسانة”.
خطوات نحو المستقبل
يُدرك باحثو DeepMind أن تقنية V2A لا تزال قيد التطوير، ويواجهون بعض التحديات، مثل انخفاض جودة الصوت الناتج في حال وجود تشوهات في الفيديو الأصلي.
كما يعملون على تحسين مزامنة الحركات مع الشفاه للحوار المُنتج.
وهم يُؤكّدون على ضرورة إخضاع هذه التقنية لتقييمات صارمة من حيث السلامة والأمان قبل إتاحتها للجمهور.
مستقبل واعد لصناعة الفيديو
تُمثل تقنية V2A نقلة نوعية في عالم إنشاء الفيديو، حيث تُتيح إضافة لمسات واقعية وإبداعية لمقاطع الفيديو دون الحاجة إلى خبراء في مجال الصوت أو الموسيقى.
وتُعد هذه التقنية خطوة هائلة نحو مستقبل يُمكن فيه للذكاء الاصطناعي صناعة أفلام ومسلسلات بأعلى المعايير، مما يُفتح المجال أمام إمكانيات إبداعية لا حصر لها.