Yapay Zeka Dudak Senkronu: Konuşan Kişi Videosunu Neden Yapar ya da Bozar

Bir izleyici bir yapay zeka videosunda pek çok şeyi affeder — biraz tutmayan ışığı, kusurlu bir arka planı, tuhaf bir şey yapan bir eli. Affetmeyeceği şey ise kelimelere uymayan bir ağızdır. Dudak senkronu tam da tekinsiz vadinin merkezinde durur: doğru olduğunda videonun üretildiğini fark etmeyi bırakırsın; yanlış olduğunda ise gördüğün tek şey odur.

Dudak senkronu neden zordur

Üretilmiş bir konuşan kişi klibi ve onun sesi, hayata iki ayrı şey olarak başlar. Video bir yüzün nasıl hareket ettiğini bilir; ne söylendiğini bilmez. Senkron, ağız şekillerini — yani vizemleri — konuşmanın gerçek sesleriyle, kare kare, tüm klip boyunca hizalamak demektir. Zamanlamayı azıcık kaçır, beyin bunu anında işaretler; çünkü hepimiz farkında olmadan uzman dudak okuyucularıyız.

İyi senkron neye benzer

• Ağız şekilleri, yalnızca açılıp kapanmakla kalmaz; söylenen ünsüz ve ünlülerle eşleşir.
• Zamanlama sıkıdır — dudaklar bir ritim geriden ya da ileriden değil, sesle birlikte hareket eder.
• Ağız hareket ederken çevresinde lastik gibi ya da bulaşmış bozulmalar olmaz.
• Senkron, daha zayıf sistemlerin dağıldığı sahne kesimlerinde ve hızlı konuşma boyunca korunur.

Reelipal'de dudak senkronu, podcast stüdyosunun gerçekçiliğini hak ettiği yerdir. Her çekimin hareket klibi, Sync-Lipsync v2 ile kendi seslendirilmiş repliğine senkronlanır; böylece iki sunucu karşılıklı bir sohbet sürdürebilir ve her kelime doğru ağza oturur. Üretilmiş iki yüzü, gerçekten konuşan iki kişiye dönüştüren adım budur.

Hepimiz farkında olmadan uzman dudak okuyucularıyız. Senkronun sahtesini yapamayacağın tek şey olmasının nedeni de bu.

Konuşan kişi içeriği üretiyorsan — anlatım videoları, sunucular, iki kişilik programlar — dudak senkronu bir bitiş dokunuşu değil, taşıyıcı adımdır. Tüm sürece nasıl oturduğunu bir konuyu iki sunuculu bir video podcast'e dönüştürmek yazısında gör.