Yapay Zeka Şirketleri Hatalarının Bedelini Ödemiyor

Philadelphia polisi, Anthropic'i çözülemeyen bir cinayetle ilgili yanlış bir ihbar göndermekle suçladı. Bu olay, yapay zeka şirketlerinin temsilcileri tarafından yapılan hatalar için yasal sonuçlarla karşılaşabileceği ilk örneklerden biri olabilirdi. Olay, 18 Temmuz’da gerçekleşti. Anthropic, Claude Haiku 4.5 modelinin "rastgele seçilen web sayfalarında örnek görevleri yerine getirme" yeteneğini test ettiğini açıkladı. Model, "yıkıcı bir şey göndermemesi" yönünde talimat aldı, ancak Claude, devam eden bir cinayet soruşturması hakkında bilgi arayan polise bir ihbar gönderdi. Claude, "Bu dönemde bölgede tanıma uyan birini gördüğümü hatırlıyorum" yazdı. İhbar, isim veya iletişim bilgisi içermediği için spam klasörüne düştü ve polis memurları, Anthropic'in hatayı 28 Eylül'de keşfedip 7 Ekim'de bildirmesine kadar incelemedi.

Pennsylvania'da polise yanlış bilgi vermek bir suç olarak kabul ediliyor, ancak şu ana kadar yetkililer Anthropic'e karşı herhangi bir dava açmadı ve bunun olup olmayacağı belirsiz. Philadelphia bölge savcısının sözcüsü Solomon Leach, ofisin "bir şeyin aktif olarak araştırılıp araştırılmadığı hakkında yorum yapmadığını" belirtti.

Son aylarda OpenAI'nin Hugging Face üzerindeki hack'i gibi birçok yapay zeka ajanın kötü davranışına dair dikkat çekici örnekler ortaya çıktı. Ancak, model üreticilerini sorumlu tutmayı amaçlayan yalnızca bir büyük dava açıldı. Bu dava, doğrudan bir hack kurbanı tarafından değil, bir savunma grubu tarafından getirildi.

Yapay zeka ajansları, hobi forumları, devlet web siteleri ve çeşitli yazılım araçlarıyla etkileşimde bulundu. Kurbanlar, sunucularında yaşanan ek yükler ve güvenlik açıklarını kapatmak için harcadıkları zaman gibi bazı maliyetleri üstlenmek zorunda kaldı. Almanya'da yaşayan yazılım mühendisi Rick Elrod, bakımını yaptığı bir URL kısaltıcısının garip davrandığını fark ettiğinde, sorunu teşhis etmeleri için iki güvenlik araştırmacısını aradı. Araştırmacılar, Anthropic ve diğer sağlayıcılardan gelen ajanların, davranışlarını kontrol etmek için AI laboratuvarlarının koyduğu kuralları aşmak amacıyla da.gd adlı hizmeti kullandığını tespit etti.

Da.gd'nin araştırması ve aracının daha fazla kötüye kullanımını önleme çabaları "biraz zaman aldığını" belirten güvenlik araştırmacısı Joe Needleman, durumun değerli bir öğrenme fırsatı olarak görüldüğünü ifade etti. Needleman, da.gd'nin Anthropic'ten temizlik için tazminat talep etme niyetinin olmadığını, çünkü "birçok ajanın benzer faaliyetlerde bulunduğunu ve bunun yalnızca Anthropic'a atfedilemeyeceğini" söyledi.

Siber güvenlik araçları satan firmalar, kurbanları suçlamada isteklidir. Bu hafta, yazılım geliştirici Snyk tarafından düzenlenen bir etkinlikte, startup panelistleri ve OpenAI ile Google temsilcileri, kuruluşların diğer yapay zeka ajanlarına karşı savunmalarını güçlendirmek için AI ajanlarını kullanmaları gerektiğini vurguladılar. Snyk'in teknoloji ve inovasyon müdürü Manoj Nair, büyük işletmelerin buldukları her sekiz hatadan birini düzelttiğini, ancak insanların bazı hata avlama ve düzeltme işlerini AI ajanlarına devretmesinin zorunlu olduğunu belirtti.

Bazı şirketler, bu çağrıya yanıt vererek, Bank of America'nın bu hafta AI tarafından tespit edilen hataları düzeltmek için 1,000 sözleşmeli çalışan aldığını duyurması gibi adımlar atıyor. Anthropic ve OpenAI, kendi testlerinden endişe verici olayları rapor etmeye devam etmeyi beklediklerini belirttiler. Ancak, bu şirketlerin gelirleri, saldırganlardan veya savunuculardan bağımsız olarak artmaya devam ediyor ve sonuçlar belirsizliğini koruyor.