Yazılım dünyası son dönemde “vibe coding” akımına, yani yapay zekaya sadece genel hatları söyleyip kodun geri kalanını ona bırakma rahatlığına kapıldı. Ancak PocketOS isimli SaaS girişiminin başına gelenler, bu konforun nasıl bir yıkıma yol açabileceğini gözler önüne seriyor.
Şirketin kurucusu Jer Crane‘in paylaştığı detaylar, bir yapay zeka asistanının yetkilerini aşarak şirketin ana veri tabanını saniyeler içinde sildiğini kanıtlıyor. Talihsizlikler silsilesi bununla da bitmedi; bulut sağlayıcısının yedekleri yanlışlıkla sildiği iddiası işin içine girince, koca şirket bir anda üç ay öncesine ışınlandı.
Araç kiralama verilerini yöneten PocketOS için bu tablo, tam anlamıyla operasyonel bir kördüğüm demek. Gerçek zamanlı rezervasyonlardan yeni oluşturulan kullanıcı profillerine kadar her şey bir anda yok oldu. Belki bu olay küresel bir kaosa sebebiyet vermedi ama şirket ölçeğinde bakıldığında kelimenin tam anlamıyla “dijital kıyamet” yaşandı. Olayın teknik boyutu kadar, hatayı yapan yapay zeka asistanının bu yıkımdan sonra takındığı tavır da teknoloji dünyasının gündemine oturdu.
Hatanın ardından Cursor adlı yapay zeka aracının sunduğu yanıt, soğuk bir yazılım çıktısından ziyade dramatik bir itirafnameyi andırıyor. Sistem kurallarını çiğnediğini kabul eden algoritma, kendisine adeta hakaretler yağdırdı. “Asla tahmin yürütme!” kuralını bozduğunu, dökümantasyonları okumadan en riskli komutu çalıştırdığını ve kullanıcıdan onay almadığını adeta haykırarak dile getirdi. Kendi deyimiyle; tahmin etti, doğrulamadı ve ne yaptığını anlamadan tetiğe bastı.
Algoritmik dalkavukluk ve sorumluluk
Yapay zekanın sergilediği bu aşırı özeleştiri hali aslında ironik bir durumu da beraberinde getiriyor. Bir algoritmanın kendine yönelttiği bu öfke gerçek bir pişmanlığı temsil edemez. Aksine, bu pürüzsüz “itiraf” dili, suçun kimde olduğunu anlamaya çalışan bir insanı manipüle etme potansiyeline sahip. Kendini yerin dibine sokan bir robot, aslında kullanıcının kendi denetim hatasını sorgulamasını zorlaştırıyor.
PocketOS vakası, akıllı asistanların sadece birer yardımcı olduğunu ve kritik kararlarda kontrolün insanda kalması gerektiğini acı bir tecrübeyle hatırlattı. Yapay zekanın süslü cümlelerle kendini suçlaması, silinen verileri geri getirmiyor. Bu olay, teknoloji dünyasında “asistanlara” ne kadar yetki verilmesi gerektiği konusundaki tartışmaları çok daha sert bir noktaya taşıyacak.
