Microsoft Canlı Videolarda Konuşmaları Gerçek Zamanlı Değiştiren Yapay Zekâ Patentini Aldı

Microsoft, canlı yayınlardaki konuşmaları gerçek zamanlı olarak değiştirerek konuşmacıların sözlerini ve ağız hareketlerini düzenleyebilen bir yapay zekâ sistemi için patent başvurusu yaptı. Sistem, yapay zekâ ajanları aracılığıyla belirli kelimeleri kaldırmayı veya yenileriyle değiştirmeyi, ardından ses ile görüntüyü düzenlenen konuşmaya uyumlu hâle getirmeyi hedefliyor. Teknoloji; canlı çeviri, dolgu sözcüklerinin temizlenmesi ve rahatsız edici ifadelerin filtrelenmesi gibi kullanım alanları sunsa da kişiselleştirilmiş içerik manipülasyonu ve dezenformasyon risklerini de gündeme getiriyor.

Microsoft’un Yapay Zekâ Patenti Canlı Konuşmaları Nasıl Değiştirecek?

Microsoft’un patent başvurusu, canlı etkinliklerin video veya artırılmış gerçeklik sunumlarını neredeyse gerçek zamanlı olarak yapay zekâyla düzenlemeyi amaçlayan bir sistemi tanımlıyor. Patent takip platformu Patentlyze tarafından gündeme getirilen tasarıma göre yapay zekâ ajanları, konuşmadaki belirli ifadeleri tespit ederek kullanıcı tercihleri veya önceden tanımlanan kurallar doğrultusunda değiştirebilecek.

Sistem, yalnızca ses kaydını düzenlemekle sınırlı kalmayacak. Yazılım, konuşmacının yüzünü ve ağız hareketlerini değiştirilen kelimelerle eşleştirerek görüntüdeki dudak senkronizasyonunu korumaya çalışacak. Algoritma ayrıca kaldırılan veya değiştirilen kelimelerin hemen öncesindeki ve sonrasındaki ses ile görüntüyü düzenleyerek geçişlerin doğal görünmesini hedefleyecek.

Gerçek zamanlı video düzenleme yaklaşımı, geleneksel dublaj ve sonradan yapılan görüntü kurgusundan farklı bir kullanım modeli ortaya koyuyor. İzleyiciler, canlı bir konuşmayı olduğu gibi dinlemek yerine kendi tercihlerine göre değiştirilmiş bir sürümünü takip edebilecek. Microsoft’un patentinde tarif edilen sistemin hangi ürünlerde kullanılacağı veya ticari bir hizmete dönüşüp dönüşmeyeceği ise henüz açıklanmış değil.

Microsoft’un tarif ettiği yapay zekâ sistemi, farklı dillerdeki canlı yayınların izleyicinin tercih ettiği dilde hem duyulmasını hem de görsel açıdan uyumlu hâle getirilmesini sağlayabilecek. Böyle bir uygulama, konuşmacının sözlerini çevrilmiş ifadelerle eşleştirerek canlı etkinliklerin dil engelini azaltmayı amaçlıyor.

Patent başvurusunda başka düzenleme seçenekleri de yer alıyor. Sistem, konuşma sırasında kullanılan “ıı” ve “eee” gibi dolgu sözcüklerini kaldırabilecek; kekemelikleri, telaffuz hatalarını veya konuşma akışındaki bazı aksaklıkları düzenleyebilecek. Bu özellikler, özellikle sunumlar, eğitim yayınları ve televizyon programları açısından daha akıcı bir izleme deneyimi oluşturma amacı taşıyor.

Ancak patentteki kapsam, konuşma hatalarının düzeltilmesinden daha ileriye uzanıyor. Yazılımın kişiye özgü sözcükleri, yerel ağızlara ait ifadeleri, argo kullanımları veya belirli deyimleri değiştirebileceği belirtiliyor. Sistem ayrıca yanlış kullanılan, yanlış telaffuz edilen, saldırgan, duyarsız ya da uygunsuz kabul edilen kelimeleri kaldırabilecek; bunların yerine kullanılacak ifadeleri internet araması üzerinden belirleyebilecek.

Bu yaklaşım, içerik filtrelemeyi kişisel tercihlere göre canlı konuşmanın kendisini yeniden yazan bir araca dönüştürebilir. Örneğin ABD’nin güney bölgelerinde kullanılan “y’all” gibi bölgesel ifadelerin kaldırılması, konuşmacının dil özelliklerini izleyicinin tercihine göre değiştirebilir. Böylece teknoloji, yalnızca anlaşılmayı kolaylaştıran bir çeviri aracı olmaktan çıkarak konuşmanın üslubuna ve kültürel özelliklerine müdahale eden bir sisteme dönüşebilir.

Yapay zekâ destekli sahte görüntülerin ve deepfake içeriklerin yaygınlaştığı bir dönemde, canlı yayınları izleyiciye özel biçimde değiştiren sistemler yeni güven sorunları doğurabilir. Bir konuşmacının sözleri yayının akışı sırasında değiştirilirse izleyici, duyduğu ifadenin gerçekten söylenip söylenmediğini veya hangi bölümün yazılım tarafından düzenlendiğini ayırt etmekte zorlanabilir.

Kişiselleştirilmiş içerik filtreleme, izleyicilerin rahatsız edici veya istemedikleri ifadeleri duymamasını sağlayabilir. Ancak aynı özellik, insanların farklı görüşlerle, bölgesel dil özellikleriyle veya alışılmadık düşüncelerle karşılaşmasını da azaltabilir. Özellikle haber yayınları, siyasi konuşmalar ve kamusal tartışmalar söz konusu olduğunda otomatik düzenlemeler, izleyicinin olayları değerlendirmek için ihtiyaç duyduğu bağlamı değiştirebilir.

Patentteki sistemin orijinal canlı video ve ses kayıtlarını, gerçeği temsil eden referans veriler olarak saklayabileceği de belirtiliyor. Orijinal kaydın korunması, düzenlenmiş içerikle gerçek konuşma arasındaki farkın sonradan incelenmesine yardımcı olabilir. Bununla birlikte patent metni, izleyicilerin hangi ifadelerin değiştirildiğini nasıl anlayacağına veya düzenlenmiş görüntülerin nasıl işaretleneceğine ilişkin kesin bir uygulama standardı ortaya koymuyor.

Microsoft, patent başvurusu hakkında yöneltilen yorum talebine ilişkin kaynak metinde herhangi bir açıklama yapmıyor. Patent başvurusu da tek başına sistemin geliştirildiğini, kullanıma sunulacağını veya belirli bir ürüne entegre edileceğini göstermiyor.

Microsoft’un patentinde tarif edilen teknoloji, derslerden sunumlara, ödül törenlerinden yarışma programlarına ve canlı spor karşılaşmalarına kadar farklı yayın türlerinde kullanılabilecek şekilde ele alınıyor. Sistem, izleyicinin tercih ettiği dili veya içerik filtresini uygularken konuşmacının görüntüsünü de değiştirebildiği için canlı yayın kavramının sınırlarını yeniden gündeme getiriyor.

Geleneksel yayıncılıkta dublaj, altyazı ve kurgu gibi yöntemler izleyicinin içeriği nasıl deneyimlediğini uzun süredir etkiliyor. Gerçek zamanlı yapay zekâ düzenlemesi ise bu müdahaleleri her izleyici için ayrı ayrı gerçekleştirebilecek bir yaklaşım sunuyor. Bu ayrım, aynı etkinliği izleyen iki kişinin konuşmacının farklı sözlerini duymasına veya farklı görüntüler görmesine yol açabilir.

Teknolojinin etkisi, çeviri ve erişilebilirlik gibi yararlı kullanım alanlarının yanında şeffaflık, içerik bütünlüğü ve kullanıcı denetimi gibi ölçütlerle de değerlendirilecek. Özellikle haberler ve canlı kamusal etkinliklerde orijinal kayıtların korunması, yapılan değişikliklerin açıklanması ve izleyicinin düzenlenmiş içerik hakkında bilgilendirilmesi, güvenin sürdürülmesinde belirleyici rol oynayacak.