Model Evaluation & Threat Research (METR) adlı bağımsız araştırma kuruluşu, kodlama sürecinde yapay zekâ destekli araçların geliştiricilere düşündüklerinin aksine zaman kazandırmadığını ortaya koydu. Gerçek sorunlar üzerinden yürütülen deneysel çalışmada bu araçların verimliliği değil, üretkenliği olumsuz etkilediği gözlemlendi.
Kodlama Araçları Beklenenden Ters Etki Yarattı
METR araştırması, 16 deneyimli geliştiriciyi kapsayan kontrollü bir deneyle yürütüldü. Geliştiriciler büyük açık kaynak projelerinde gerçek yazılım sorunlarını çözmek üzere görev aldı. Çalışmada toplam 246 yazılım sorunu tanımlandı. Bu sorunlar rastgele şekilde iki gruba ayrıldı. Bir gruptaki geliştiricilere yapay zekâ destekli araçları kullanma izni verildi, diğer gruptakilere verilmedi.
Geliştiriciler yapay zekâ araçlarının kendilerini yaklaşık yüzde 20 oranında hızlandırdığını düşündü. Ancak araştırma verileri bunun tam tersini gösterdi. Kodlama araçları, geliştiricilerin görev tamamlama süresini ortalama yüzde 19 oranında uzattı.
Araştırmacılar, bu ters etkinin birkaç temel nedenden kaynaklandığını belirtti. En önemli nedenlerden biri geliştiricilerin AI araçlarına yönelik aşırı iyimser beklentileriydi. Katılımcıların tamamı hâlihazırda çalıştıkları projelere hâkimdi. Bu durum, AI önerilerinin değerini düşürdü.
Ayrıca kullanılan projeler, 1 milyon satırı aşan kod tabanlarına sahipti. Yapay zekâ araçları bu kadar büyük yapılar içerisinde tutarlı bağlam sağlayamadı. Üstelik geliştiriciler, AI tarafından önerilen kodların yalnızca yüzde 44’ünü kabul etti. Geri kalan öneriler zaman kaybettiren kontroller gerektirdi.
Kodlama Yerine bekleme Süresi Arttı
Araştırmaya göre geliştiriciler, AI kullanımına izin verildiğinde daha az kod yazdı. Kod üretimi, yerini AI araçlarını yönlendirme, yanıt bekleme ve çıkan sonuçları gözden geçirme gibi işlemlere bıraktı. Aktif üretim süresi azaldı, pasif bekleme süresi arttı. Kodlama araçlarının sunduğu avantajlar, ek kontrol yükü nedeniyle zaman kazandırmak yerine projeleri yavaşlattı. Geliştiricilerin tahmin ettiği hızlanma, gerçekte gecikmeye dönüştü.
Araştırma, kodlama araçlarının yazılımcıların işini kolaylaştırmak yerine süreçleri karmaşıklaştırabildiğini gösterdi. Katılımcılar, AI yardımıyla işlerini daha hızlı bitirdiklerini düşündü. Ancak her önerinin doğruluğunu test etme zorunluluğu bu araçların avantajlarını ortadan kaldırdı. Rutin görevleri kolaylaştırsa da AI araçları hâlâ insan denetimine ihtiyaç duyuyor. Geliştiriciler her adımda çıkan sonucu gözden geçirmek ve gerekirse düzeltmek zorunda kalıyor.
Araştırmacılar, elde edilen sonuçların tüm yazılım geliştirme ortamlarına genellenemeyeceğini vurguladı. Çalışmada kullanılan projeler oldukça büyük ve geliştiriciler oldukça deneyimliydi. Bu koşullar altında yapay zekâ araçlarının katkısı sınırlı kaldı. Buna rağmen araştırma, AI tabanlı yazılım araçlarına dair beklentilerin dikkatli yönetilmesi gerektiğini ortaya koydu. Daha verimli sonuçlar için araçların bağlamı daha iyi analiz etmesi, önerilerinin doğruluk oranının yükseltilmesi ve kullanıcı deneyiminin sadeleştirilmesi gerekiyor.
Çeşitli çalışmalar da benzer sonuçlar ortaya koymuştu. Qodo tarafından yapılan bir başka araştırma, AI destekli önerilerin ek kontrol ihtiyacı doğurduğunu ve iş yükünü artırdığını göstermişti. Intel’in yürüttüğü bir çalışmada ise AI destekli bilgisayarların kullanıcı verimliliğini düşürdüğü tespit edilmişti. Bu bulgular, AI araçlarının kısa vadede beklendiği kadar üretkenlik sağlamadığını gösteriyor. Geliştiriciler için bu araçlar hâlâ deneme-yanılma aşamasında değerlendiriliyor.
