Yapay zeka projeleri neredeyse her zaman aynı yerde başlıyor: birinin masasının altındaki GPU'lu bir kasada. Bu, ilk aşamada tamamen doğru bir karar — ucuz, hızlı, kimseye sormadan kurulabiliyor. Sorun, proje çalışmaya başladıktan sonra ortaya çıkıyor.
Bu yazıda AI donanımının nerede çalışması gerektiğini dört seçenek üzerinden karşılaştırıyoruz: ofis, hiperölçekli bulut, GPU kiralama platformları ve veri merkezinde barındırma.
Ofis: başlamak için doğru, kalmak için değil
Masa altındaki iş istasyonu, ilk model denemeleri için ideal. Ama yük sürekli hale geldiğinde dört şey aynı anda sorun olmaya başlıyor:
- Elektrik. Çok GPU'lu bir sistem kilowatt mertebesine çıkar. Ofis prizleri ve sigortaları bu sürekli yük için tasarlanmamıştır; UPS varsa da genelde birkaç dakikalıktır.
- Isı. Çektiği gücün tamamını ısı olarak geri verir. Ofis klimaları insan konforu için çalışır — akşam kapanır, hafta sonu kapanır. GPU ise 7/24 ısıtır.
- Gürültü. Tam yükteki bir GPU sunucusunun fan sesi, aynı odada çalışmayı imkânsız hale getirir. Bu yüzden çoğu sistem depoya ya da kazan dairesine taşınır — yani soğutması daha da kötü bir yere.
- Erişim. Eğitim gece yarısı düşerse, sabaha kadar durur. Bir haftalık eğitimin altıncı gününde elektrik kesintisi yaşamak, çoğu ekibin bir kez öğrendiği derstir.
Bunların hiçbiri projeyi hemen durdurmaz. Hepsi, projeyi öngörülemez hale getirir.
Hiperölçekli bulut: esnek ama faturası öngörülemez
Büyük bulut sağlayıcılarında GPU örneği açmak dakikalar sürer ve hiç sermaye harcaması gerektirmez. Ani ihtiyaçlar ve kısa deneyler için gerçekten iyi bir seçenek.
Sorun sürekli yükte başlıyor. GPU saati ücretleri, aynı donanımı satın almanın maliyetine aylar içinde ulaşabiliyor. Buna iki kalem daha ekleniyor:
- Veri çıkış (egress) ücreti. Veriyi içeri almak genelde ücretsiz, dışarı çıkarmak ücretli. Eğitim çıktılarını ve model ağırlıklarını düzenli olarak dışarı taşıyan bir ekip için bu kalem sürpriz olabiliyor.
- Depolama. Veri setiniz orada durduğu sürece ücretlendirilir; taşımaya kalktığınızda egress'e çarpar. Veri, sağlayıcıya yapışma eğilimindedir.
Bir de kapasite konusu var: popüler GPU sınıfları bölgesel olarak tükenebiliyor ve "istediğinde açarsın" varsayımı her zaman tutmuyor.
GPU kiralama platformları: ucuz ama denetimi belirsiz
Saatlik GPU kiralayan platformlar, hiperölçekli bulutlardan belirgin şekilde ucuz olabiliyor. Deneme ve kısa süreli eğitim için mantıklı bir ara katman.
Kurumsal veriyle çalışıyorsanız sormanız gereken sorular var: donanım fiziksel olarak nerede duruyor, sizden önce o GPU'da kim çalıştı, bellek ve disk gerçekten temizleniyor mu, sağlayıcının denetim belgesi var mı? Bu soruların cevabı net değilse, o platform Ar-Ge için uygun ama müşteri verisi için değildir.
Veri merkezinde barındırma: sürekli yükün doğal yeri
Donanımı satın alıp bir veri merkezinde çalıştırmak, sürekli yük söz konusu olduğunda hem maliyet hem denetim açısından öne çıkıyor:
- Maliyet öngörülebilir. Donanım bir kez alınır; aylık ödediğiniz şey alan, güç ve bant genişliğidir. Saat başı sayaç işlemez.
- Elektrik ve soğutma çözülmüştür. Yedekli UPS, jeneratör ve hassas iklimlendirme, tek bir cihaz için kurulamayacak yatırımlardır.
- Veri sizde kalır. Donanım sizin, lokasyon belli. KVKK kapsamındaki veriyle çalışan ekipler için bu genelde belirleyici olan maddedir.
- Egress yok. Veriyi dışarı taşımak ayrı bir kalem üretmez.
- Donanım seçimi sizin. Belirli bir GPU modeline, belirli bir bellek miktarına ihtiyacınız varsa bunu bulutun envanterinden değil kendi satın alma kararınızdan alırsınız.
Karşılığında donanım sorumluluğunu üstlenirsiniz: satın alma, garanti takibi ve teknolojinin eskimesi sizin tarafınızda kalır. Bu yükü almak istemiyorsanız donanımı biz tedarik edip kiralayabiliriz de.
Karar tek soruya iniyor
Bu donanımı önümüzdeki üç yıl boyunca doluluğa yakın çalıştıracak mısınız?
Cevap evetse, satın alıp barındırmak neredeyse her zaman daha ucuza gelir. Hayırsa — yük aralıklıysa, tahmin edilemiyorsa ya da proje henüz doğrulanmadıysa — bulut ya da kiralama mantıklıdır.
Çoğu olgun ekip ikisini birlikte kullanıyor: taban yük kendi donanımında çalışır, ani talep artışları buluta taşar. Bu kurgunun tek şartı, veri setinin iki tarafta da erişilebilir olması.
Ofisten çıkarken hazırlanacak dört şey
Donanımı taşımaya karar verdiyseniz, teklif aşamasında bilmemiz gereken dört şey var:
- Form faktörü. Masaüstü AI cihazı mı, tower iş istasyonu mu, 4U rack sunucu mu? Rack'e vidalanmayan cihazlar bizde sorun değil.
- Güç çekişi. Cihaz başına gerçek tüketim. Bilmiyorsanız marka ve modelden birlikte hesaplarız.
- Çalışma düzeni. Sürekli tam yük mü, aralıklı parti işleri mi? Yerleşim ve güç tahsisi buna göre değişir.
- Veri seti boyutu. İlk taşımanın nasıl yapılacağını ve hangi hat kapasitesine ihtiyacınız olduğunu belirler.
Bunların neden bu kadar önemli olduğunu —özellikle gücün neden yükseklikten daha belirleyici olduğunu— güç yoğunluğu yazımızda anlattık.
Yapay zeka sunucu barındırma hizmetimize bakabilir, donanımınızı teklif formundan iletebilirsiniz.