Yapay Zeka Sunucu Barındırma

Yapay zeka donanımı neden özel bir barındırma sorunu?

GPU’lu bir sistem, klasik bir web sunucusuyla aynı kutuya girmez. Üç şey farklıdır: güç çekişi, ürettiği ısı ve çoğu zaman form faktörü.

Sıradan bir 1U web sunucusu birkaç yüz watt çekerken, çok GPU’lu bir eğitim sunucusu kilowatt mertebesine çıkar ve bu gücün tamamını ısı olarak geri verir. Aynı kabine sıradan sunucu koyar gibi dizmek, hem besleme hem soğutma tarafında sorun üretir.

Form faktörü ise ayrı bir konu: AI donanımı çoğu zaman standart rack sunucusu değildir. Bir araştırma ekibinin elindeki şey genelde GPU takılmış bir tower iş istasyonu ya da DGX Spark sınıfı bir masaüstü cihazdır. Çoğu veri merkezi bunları kapıdan çevirir — biz zaten standart dışı kasa barındırıyoruz, dolayısıyla bu bizim için yeni bir problem değil.

Kabul ettiğimiz form faktörleri

Ölçeğin iki ucunu da barındırıyoruz:

• Masaüstü AI cihazları. NVIDIA DGX Spark sınıfı kompakt cihazlar. Düşük güç çeker, az yer kaplar; rafa uygun şekilde konumlandırılır.
• Tower / ATX iş istasyonları. Bir veya birkaç GPU takılmış masaüstü kasalar. Ölçülerek yer tahsis edilir, hava akışı yönü tespit edilip yerleşim ona göre planlanır.
• 1U–2U rack sunucular. Çıkarım (inference) yükleri için yaygın; standart kabin yerleşimine girer.
• 4U rack sunucular. Çok GPU’lu eğitim sunucularının tipik boyu.
• 8U ve üzeri sistemler. Yüksek yoğunluklu platformlar; kabin ve besleme planlaması proje bazında yapılır.

Güç yoğunluğunu nasıl planlıyoruz?

Bu hizmette en kritik soru “kaç U yer kaplıyor” değil, “kaç kilowatt çekiyor” sorusudur. Bir kabine kaç cihaz sığacağını fiziksel yükseklik değil, güç ve ısı belirler.

Bu yüzden süreç ölçmeyle başlar: cihaz başına gerçek güç çekişi, çalışma düzeni (sürekli tam yük mü, aralıklı parti işleri mi) ve toplam cihaz sayısı. Kabin başına enerji tahsisi ve besleme yapısı bu üç veriye göre belirlenir; standart kademelerin üzerindeki yoğunluklar proje bazında değerlendirilir.

Tesisin güç tarafı 2N yedekli UPS ve N+1 jeneratörle besleniyor; kabine besleme A ve B olmak üzere iki ayrı yoldan gidebiliyor. Soğutma N+1 hassas iklimlendirme ile yapılıyor ve ortam 22 ±2 °C aralığında tutuluyor. Yüksek ısı üreten cihazlarda yerleşim, sıcak havanın komşu cihazın emişine dönmeyeceği şekilde planlanır.

Tesisin tüm güç, soğutma, ağ ve güvenlik ayrıntısı veri merkezi sayfasında. Güç yoğunluğunun neden bir yerleşim sorunu olduğunu ayrı bir yazıda anlattık.

Veri Türkiye’de kalır

Yapay zeka projelerinde barındırma kararını çoğu zaman teknik değil hukuki gerekçe belirliyor. Eğitim veri setiniz müşteri verisi, sağlık verisi, çağrı kaydı ya da kimlik bilgisi içeriyorsa KVKK kapsamındasınız demektir ve verinin nerede işlendiği önemlidir.

Donanımınız Gebze’deki tesisimizde durduğunda veri seti de, model ağırlıkları da yurt dışına çıkmaz. Süreçlerimiz ISO 27001 kapsamında bağımsız denetimden geçiyor; tesise erişim biyometrik ve kartlı katmanlı yetkiyle, kayıt altında yapılıyor.

Buna ek olarak, hiperölçekli bulut sağlayıcılarında sık karşılaşılan veri çıkış (egress) ücreti burada yok. Eğitim verisini içeri alıp çıktıları dışarı taşımak sürpriz bir kalem üretmez.

Barındırma mı, kiralama mı?

İki modelde de çalışıyoruz. Barındırmada GPU donanımı sizin; satın alma kararını siz verdiniz, biz ortamı sağlıyoruz. Elinde donanım olan ya da belirli bir GPU modeline ihtiyacı olan ekipler için doğru olan bu.

Kiralamada donanımı biz tedarik ediyor ve tamamını size tahsis ediyoruz — GPU sınıfı, bellek ve depolama ihtiyacınıza göre yapılandırılır. Sermaye harcaması yapmak istemeyen ya da donanım tedarik süresini beklemek istemeyen ekipler bu modeli tercih ediyor.

Hangisinin size uyduğu genelde tek soruyla çıkar: bu donanımı üç yıl boyunca doluluğa yakın çalıştıracak mısınız? Cevap evetse satın alıp barındırmak, hayırsa kiralamak daha mantıklı olur.