Modal, Nvidia'nın Vera CPU'su ile AI Sandboxes Üzerinde Çalışacak

Modal, Nvidia'nın Arm tabanlı Vera CPU'sunu kullanarak AI agent sandboxes ürününü çalıştırmayı planlıyor. Bu, şirketin x86 işlemcilerden ilk ayrılışı olacak. Modal'ın kendi testlerine göre, Vera işlemcisi, konteynerlerle dolu bir sunucuda Intel sunucularına göre iki kat daha fazla görev gerçekleştirebiliyor. Ancak bu sonuçların bağımsız olarak doğrulanmadığını belirtmekte fayda var.

Nvidia'nın Vera CPU'su ve Modal'ın Planları

Modal, AI bulut şirketi olarak, Vera CPU'sunu kullanarak AI agent sandboxes ürününü geliştirmeyi hedefliyor. Şirket, bu planı bir blog yazısında duyurdu. Nvidia, Modal'a ilk Vera sunucusunu geçen hafta San Francisco ofisine teslim etti. Bu yeni işlemci, Arm tasarımını kullanıyor, bu nedenle Modal'ın yazılım görüntüleri oluşturmak için altyapısını değiştirmesi gerekecek.

Sandboxes Nedir?

Sandboxes, AI agentlerinin kendi yazdığı kodları çalıştırdığı izole bilgisayarlardır. Modal, bu ürünün yılda 300 milyon dolar gelir getirdiğini ve geçtiğimiz hafta 750 milyon dolar yatırım aldığını açıkladı. Sandboxes, AI agentlerinin bekleme süreleri ve yazılım yüklemeleri gibi değişken yükler nedeniyle planlaması zor işlerdir. Bu nedenle, bir müşterinin artan talebi diğer müşterilerin işlerini yavaşlatabilir.

Vera'nın Performans Testleri

Modal, Vera'nın performansını test etmek için 50 kodlama görevinden oluşan bir benchmark oluşturdu. Bu görevler arasında yazılım derleme ve dosya arama gibi işlemler yer alıyor. Vera, bu görevleri tek tek çalıştırdığında genellikle Intel, AMD ve Amazon işlemcilerinden daha hızlıydı, ancak her zaman değil ve çok büyük bir farkla değil. Ancak Modal, sunucu konteynerlerle dolduğunda performans farkının daha belirgin hale geldiğini belirtti. Vera, görevleri aynı hızda tamamlamaya devam ederken, rakip işlemciler belirli bir noktada tıkanma yaşıyordu. Modal, bunun nedeninin Vera'nın yüksek bellek bant genişliği olduğunu ifade etti.

Kullanım Alanları ve Gelecek

Modal, Vera'nın yüksek bellek bant genişliğinin iki önemli kullanım alanı olduğunu vurguladı: arka plan kodlama agentleri ve pekiştirmeli öğrenme. Pekiştirmeli öğrenme sürecinde, maliyetli GPU'lar genellikle CPU görevleri tamamlanana kadar bekler. Nvidia, Vera'yı Mart ayında AI agentleri için tasarlanmış bir CPU olarak tanıttı ve Anthropic ile OpenAI gibi ilk kullanıcıları arasında yer aldığını duyurdu. Modal, Vera destekli sandboxes'ın ne zaman müşterilere ulaşacağını belirtmedi.

Sonuç olarak, Modal'ın Nvidia'nın Vera CPU'sunu kullanarak AI sandboxes ürününü geliştirmesi, şirketin işlemci stratejisinde önemli bir değişim anlamına geliyor ve bu, AI alanında daha fazla verimlilik sağlayabilir.