Görme Engelliler İçin Geliştirilen ScribeMe Çevredeki Görüntüleri Sesli Anlatıyor

Mısır’da görme yetisini kaybeden Karen Morad, kardeşi Mark’ın geliştirdiği yapay zekâ uygulaması sayesinde çevresindeki nesneleri, hayvanları ve mekânları sesli anlatımlarla algılayabiliyor. ScribeMe adlı uygulama, telefon kameraları ile Meta akıllı gözlüklerinden aldığı görüntüleri analiz ederek kullanıcıya gerçek zamanlı bilgiler sunarken 20 dili destekliyor. Uygulama 140’tan fazla ülkede kullanılırken Mark Morad, kendi eğitim sürecinde yaşadığı erişilebilirlik sorunlarını çözmek amacıyla geliştirdiği sistemi zaman içinde binlerce kişinin kullandığı bir araca dönüştürdü.

ScribeMe Görsel Bilgileri Sesli Anlatımlara Dönüştürüyor

Kahire’de eğitim gören Karen Morad, günlük yaşamında ScribeMe’yi çevresindeki nesneleri tanımak, sınıfını bulmak, mağazaları ayırt etmek ve kıyafet seçmek için kullanıyor. Uygulama, telefon kamerasından alınan görüntüleri analiz ederek nesnelerin ne olduğunu, nerede bulunduğunu ve çevrede nasıl bir hareket yaşandığını sesli biçimde aktarabiliyor.

Kenya’da haziran ayında gerçekleşen safari gezisi, sistemin farklı bir kullanım alanını ortaya çıkardı. Karen, çevresindeki hayvanların türlerini, konumlarını, uzaklıklarını ve hareketlerini uygulamanın sesli açıklamalarından takip ederken daha önce yalnızca hayal edebildiği bir ortam hakkında ayrıntılı bilgi alabildi.

ScribeMe’nin gerçek zamanlı görüntü analizi, görme engelli kullanıcıların yalnızca yazıları okumak yerine çevrelerindeki görsel bilgileri anlamasına odaklanıyor. Sistem, kameradan gelen görüntüyü yorumlayarak kullanıcının bulunduğu ortam hakkında konuşma biçiminde bilgi sağlayan bir yardımcı olarak çalışıyor.

Mark Morad, görme sorunlarının 2018’de başlamasının ardından Mısır’da ve yurt dışında yapılan kontrollerden geçti ancak doktorlar başlangıçta kesin bir neden belirleyemedi. Nadir görülen tedavi edilemez bir optik sinir rahatsızlığı nedeniyle ilerleyen yıllarda görme yetisini kaybedeceği söylenen Mark’ın görme kaybı yaklaşık üç yıl içinde tamamlandı.

Fizik ile kimya dersleri, Mark’ın teknolojiyle çözmek istediği ilk sorunlardan birini oluşturdu. Ekran okuyucu yazılımlar metinleri seslendirebilirken grafikler, denklemler ve diyagramlar gibi görsel unsurları yeterince açıklayamadığı için Mark ders materyallerine erişmekte zorlandı.

Yurt dışındaki uygulama geliştiricilerinden yardım isteyen Mark, yanıt alamayınca yazılım geliştirmeyi kendi başına öğrenmeye başladı. YouTube üzerinden kodlama eğitimleri takip eden Mark, 2023’te çalışan ilk ScribeMe sürümünü geliştirdi ve projesini daha sonra teknoloji yarışmalarına taşıdı.

Vodafone Egypt tarafından 2024’te düzenlenen AI Assistive Tools Hackathon, ScribeMe’nin gelişiminde önemli bir dönüm noktası oldu. Yarışmada elde edilen başarı, Mark’ın uygulamayı belge tarama aracının ötesine taşımasına yardımcı olurken gerçek zamanlı görüntü analizi gibi özelliklerin geliştirilmesinin önünü açtı.

ScribeMe’nin bugünkü yapısı, telefon kamerasından alınan görüntüler üzerinden kullanıcıların gerçek zamanlı sorular sormasına yanıt verebiliyor. Sistem aynı zamanda belgeleri analiz ederek görme engelli kullanıcıların eğitim materyalleri, günlük belgeler veya farklı yazılı içeriklerle çalışmasına yardımcı oluyor.

Uygulamanın 20 dil desteği, Mark’ın geliştirme sürecinde özellikle önem verdiği alanlardan biri oldu. Arapça desteğinin de eklenmesi, teknolojinin yalnızca İngilizce konuşan kullanıcıların ihtiyaçlarına göre tasarlanmadığını gösterirken farklı ülkelerdeki kullanıcıların kendi dillerinde bilgi almasını sağlıyor.

Meta’nın akıllı gözlükleriyle yapılan entegrasyon, ScribeMe’nin kullanımında telefonun rolünü azaltıyor. Gözlük üzerindeki kamera çevredeki görüntüleri alırken sistem elde edilen bilgileri sesli biçimde kullanıcıya aktarabiliyor.

Görme engelli kullanıcılar açısından gözlük entegrasyonu, hareket sırasında önemli bir kullanım avantajı sağlıyor. Kullanıcı bir elinde baston taşırken diğer elini telefonla meşgul etmek zorunda kalmadan çevresindeki bilgilerden yararlanabiliyor.

ScribeMe’nin giyilebilir teknolojiyle birleşmesi, erişilebilirlik alanındaki yardımcı araçların yalnızca akıllı telefon uygulamalarıyla sınırlı kalmadığını gösteriyor. Kamera, yapay zekâ ve sesli geri bildirim aynı kullanım akışında birleşirken kullanıcı çevresindeki görsel bilgileri farklı bir duyusal kanaldan alabiliyor.

Karen Morad’ın günlük kullanımı, uygulamanın eğitimden bağımsız yaşam becerilerine kadar geniş bir alanda değerlendirilebildiğini gösteriyor. Karen sınıfını bularken, mağazaları tanırken veya kıyafet seçerken kameradan alınan görsel bilgileri sesli açıklamalar üzerinden değerlendiriyor.

Eğitim tarafında uygulama, görsel materyallerin erişilebilir hâle getirilmesi açısından ayrı bir önem taşıyor. Grafikler, belgeler, tablolar ve çevredeki yazılı bilgiler sesli anlatıma dönüştürüldüğünde görme engelli öğrencilerin ders materyallerine erişimi yalnızca geleneksel ekran okuyucuların yetenekleriyle sınırlı kalmıyor.

ScribeMe’nin ücretsiz olarak sunulması, ek özelliklerin ise aylık veya yıllık abonelik seçenekleriyle kullanılabilmesi uygulamanın sürdürülebilir bir ticari modele yöneldiğini gösteriyor. Mark ile Karen’ın kişisel deneyimlerinden doğan proje, bugün farklı ülkelerdeki kullanıcıların günlük yaşamda görsel bilgiye erişmesine yardımcı olan bir teknolojiye dönüşmüş durumda.

ScribeMe’nin önümüzdeki dönemdeki gelişimi, yapay zekânın görme engelli bireyler için yalnızca metin okuyan bir araç olmaktan çıkıp çevreyi sürekli yorumlayan kişisel bir asistana dönüşüp dönüşemeyeceğini gösterecek. Mark Morad’ın yaşadığı eğitim sorunundan doğan proje, erişilebilirlik teknolojilerinde doğrudan kullanıcı deneyiminden çıkan fikirlerin nasıl daha geniş bir ürüne dönüşebildiğini de ortaya koyuyor.