Küresel teknoloji sektörü, yapay zeka donanımlarına yönelik benzeri görülmemiş bir sermaye harcaması döneminden geçerken, sektörün en dikkat çekici yatırımlarından birinde ciddi bir verimlilik sorunu yaşanıyor. The Information’ın aktardığına göre, Elon Musk’ın yapay zeka şirketi xAI, kurduğu devasa altyapıya rağmen sahip olduğu işlem gücünü tam kapasiteyle devreye sokmakta zorlanıyor. Şirketin mevcut donanım ölçeği, yapay zeka sektöründeki en büyük kümelerden biri olarak gösteriliyor. Ancak yüksek yatırım büyüklüğüne rağmen, sistemin önemli bölümünün fiilen atıl durumda kalması dikkat çekiyor.

KAPASİTEYE RAĞMEN VERİM YOK

xAI’nin Memphis ve Colossus kümelerinde konuşlandırdığı, büyük bölümü sıvı soğutmalı sistemlerde çalışan H100 ve H200 modellerinden oluşan yaklaşık 550 bin adet NVIDIA GPU bulunuyor. Bu çipler, piyasadaki en yeni Blackwell serisinden bir nesil eski olsa da, altyapının toplam büyüklüğü bakımından sektörün en iddialı yatırımları arasında yer alıyor. Ancak şirketin elindeki bu devasa kapasitenin yalnızca yüzde 11’lik bölümünü aktif biçimde kullanabildiği belirtiliyor. Bu da yaklaşık 60 bin GPU’nun çalışır durumda olduğu, geri kalan çok büyük bölümün ise çeşitli optimizasyon eksiklikleri nedeniyle tam verimle devreye alınamadığı anlamına geliyor.

DARBOĞAZ DONANIMDA DEĞİL, YAZILIMDA

Sektör analistlerine göre ortaya çıkan tablo, yalnızca xAI’ye özgü bir sorun değil; yapay zeka endüstrisinin karşı karşıya olduğu daha geniş ölçekli bir büyüme sancısına işaret ediyor. Küçük ve orta ölçekli kümelerde ağ yapılandırmaları daha kolay yönetilebilirken, sistem yüz binlerce GPU seviyesine ulaştığında dağıtık eğitim altyapısında ciddi darboğazlar oluşabiliyor.

Özellikle yazılım katmanındaki uyumsuzluklar, veri akışındaki gecikmeler ve işlemcilerin boşta kalma süreleri, donanım kullanım oranını doğrudan aşağı çekiyor. Bu nedenle yapay zeka yarışında artık yalnızca daha fazla çip satın almak değil, bu çipleri yüksek verimle çalıştırabilecek yazılım yığını kurmak da kritik önem taşıyor.

RAKİPLER KULLANIM ORANINDA ÖNDE

Yapay zeka alanında büyük ölçekli veri merkezleri kuran şirketler arasındaki rekabette, kullanım oranı giderek daha kritik bir performans ölçütü haline geliyor. Sektörde yazılım ve altyapı optimizasyonuna uzun süredir yatırım yapan rakiplerin bu alanda daha ileri seviyeye ulaştığı belirtiliyor.

Meta’nın yaklaşık yüzde 43, Google’ın ise yüzde 46 seviyesinde kullanım oranı yakaladığı ifade ediliyor. Bu oranlar, söz konusu şirketlerin donanım yatırımlarından geri dönüşü daha hızlı alabildiğini gösteriyor. xAI’nin ise henüz tam olgunlaşmamış yazılım altyapısı nedeniyle veri işleme ve analiz süreçlerinde tekrar eden gecikmeler yaşadığı aktarılıyor.