Yapay zeka (AI) yazılımları, teknoloji endüstrisinde yeni bir çağ başlattı. Microsoft ve Google gibi şirketler, OpenAI ve Stable Diffusion gibi milyar dolarlık rakipler yazılımlarını halka sunarken, en son yapay zekayı arama motorlarına entegre etmek için mücadele ediyor. Bu uygulamaların çoğuna güç veren, yapay zeka endüstrisindeki en kritik araçlardan biri haline gelen kabaca 10.000 dolarlık bir yonga: Nvidia A100.
AI endüstrisini kapsayan bir rapor yayınlayan Nathan Benaich, A100’ün şu anda yapay zeka profesyonelleri için “beygir” haline geldiğini söyledi. New Street Research’e göre Nvidia, makine öğrenimi için kullanılabilecek grafik işlemciler pazarının %95’ine hakim.
Sinir ağı modellerini eğitmek ve kullanmak için önemli olan birçok basit hesaplamayı aynı anda gerçekleştirebildiği için A100 öcenlikle, araçlara güç veren makine öğrenimi modelleri için üretildi. A100’ün arkasındaki teknoloji başlangıçta oyunlarda gelişmiş 3D grafikleri işlemek için kullanıldı. Genellikle grafik işlemci veya GPU olarak adlandırılıyor, ancak bu günlerde Nvidia’nın A100’ü yapılandırılmış ve makine öğrenimi görevlerine yönelik ve oyun bilgisayarlarında değil, veri merkezlerinde çalışıyor.
Sohbet botları ve görüntü oluşturucular gibi yazılımlar üzerinde çalışan büyük şirketler veya yeni kurulan şirketler, yüzlerce veya binlerce Nvidia yongasına ihtiyaç duyuyor. Büyük dil modelleri gibi yapay zeka modellerini eğitmek için yüzlerce GPU gerekiyor. Yongaların kalıpları tanımak için terabaytlarca veriyi hızla işleyecek kadar güçlü olması gerekiyor. Bundan sonra, “çıkarım” için veya modeli metin oluşturmak, tahminlerde bulunmak veya fotoğrafların içindeki nesneleri tanımlamak için kullanmak için A100 gibi GPU’lara da ihtiyaç var. Bu, AI şirketlerinin çok sayıda A100’e erişmesi gerektiği anlamına geliyor. Uzaydaki bazı girişimciler, erişebildikleri A100 sayısını bile bir ilerleme olarak görüyorlar.
Stability AI CEO’su Emad Mostaque, Ocak ayında Twitter’da “Bir yıl önce 32 A100’ümüz vardı. Büyük hayaller kurun ve GPU’ları istifleyin çocuklar.” diye yazmıştı. Stability AI, geçen sonbaharda dikkatleri üzerine çeken ve 1 milyar doları aşan bir değere sahip olduğu bildirilen bir görüntü oluşturucu olan Stable Diffusion’ın geliştirilmesine yardımcı olan şirket.
Hangi şirketlerin ve üniversitelerin en geniş A100 GPU koleksiyonuna sahip olduğunu listeleyen ve takip eden State of AI raporundaki bir tahmine göre, Stability AI artık 5.400’den fazla A100 GPU’ya erişebiliyor – sayılarını herkese açık olarak yayınlamayan bulut sağlayıcılarını içermemesine rağmen.
İçindekiler
Yapay zeka, Nvidia’dan geçiyor
Nvidia, AI döngüsünden yararlanmaya devam ediyor. Çarşamba günkü mali dördüncü çeyrek kazanç raporunda, genel satışlar %21 düşmesine rağmen, yatırımcılar perşembe günü hisseyi yaklaşık %14 yükseltti. Bunun başlıca nedeni, şirketin veri merkezleri olarak bildirilen yapay zeka yongası işinin %11 artarak 3,6 milyar doların üzerine çıkmasıydı. Çeyrek boyunca satışlar, büyümenin devam ettiğini gösteriyor. Nvidia hisseleri 2023’te şu ana kadar %65 arttı ve S&P 500 ve diğer yarı iletken hisselerini geride bıraktı.
Nvidia CEO’su Jensen Huang, çarşamba günü analistlerle yaptığı bir görüşmede yapay zeka hakkında konuşmayı bırakamadı ve yapay zekadaki son patlamanın şirketin stratejisinin merkezinde olduğunu öne sürdü. Huang, “İnşa ettiğimiz yapay zeka altyapısı etrafındaki faaliyet ve büyük dil modellerini etkilemek için Hopper ve Ampere kullanarak çıkarım yapma faaliyeti son 60 gün içinde tavan yaptı. Yıla girerken bu yıl hakkındaki görüşlerimiz ne olursa olsun, son 60, 90 günün bir sonucu olarak oldukça dramatik bir şekilde değiştiğine şüphe yok.” dedi.
Ampere, Nvidia’nın A100 nesli yongaları için kod adı. Hopper ise, yakın zamanda sevkiyatına başlayan H100’ün de içinde bulunduğu yeni neslin kod adı.
Daha fazla bilgisayar gerekli
İşlem gücünü ara sıra mikro saniyelik aralıklarla kullanan bir web sayfası sunmak gibi diğer yazılım türleriyle karşılaştırıldığında, makine öğrenimi görevleri tüm bilgisayarın işlem gücünü bazen saatlerce veya günlerce alabiliyor. Bu, kendilerini başarılı bir AI ürünüyle bulan şirketlerin, yoğun dönemleri idare etmek veya modellerini geliştirmek için genellikle daha fazla GPU alması gerektiği anlamına geliyor.
Bu GPU’lar ucuz değil. Mevcut bir sunucuya takılabilen bir karttaki tek bir A100’e ek olarak, birçok veri merkezi birlikte çalışan sekiz A100 GPU içeren bir sistem kullanıyor. Nvidia’nın DGX A100 adlı bu sistemi, gerekli çiplerle birlikte gelmesine rağmen yaklaşık 200.000 dolarlık bir önerilen fiyata sahip. Çarşamba günü Nvidia, DGX sistemlerine doğrudan bulut erişimi satacağını ve bunun tamirciler ve araştırmacılar için giriş maliyetini büyük olasılıkla azaltacağını söyledi.
A100’lerin maliyetinin nasıl artabileceğini görmek ise oldukça kolay. Örneğin, New Street Research’ten yapılan bir tahmin, Bing’in aramasındaki OpenAI tabanlı ChatGPT modelinin bir soruya bir saniyeden daha kısa sürede yanıt vermek için 8 GPU gerektirebileceğini buldu. Bu oranda, Microsoft’un Bing’deki modeli herkese dağıtmak için 20.000’den fazla 8-GPU sunucusuna ihtiyacı olacak, bu da Microsoft’un özelliğinin altyapı harcamalarında 4 milyar dolara mal olabileceğini düşündürüyor.
Ayrıca bkz: Microsoft Yapay Zekayı Mobil Platformlara ve Skype’a Getiriyor
Teknoloji analisti Antoine Chkaiban, “Microsoft’tansanız ve bunu Bing ölçeğinde ölçeklendirmek istiyorsanız, bu 4 milyar dolar olabilir. Her gün 8 veya 9 milyar sorguya hizmet veren Google ölçeğinde ölçeklendirmek istiyorsanız, DGX’lere 80 milyar dolar harcamanız gerekiyor. Bulduğumuz rakamlar çok büyük. Ancak bunlar, bu kadar geniş bir dil modelini benimseyen her bir kullanıcının, onu kullanırken devasa bir süper bilgisayara ihtiyaç duyduğu gerçeğinin bir yansıması.” dedi.
Stability AI tarafından çevrimiçi olarak yayınlanan bilgilere göre, bir görüntü oluşturucu olan Stable Diffusion’ın en son sürümü 256 A100 GPU’da veya her biri 8 A100’lü 32 makinede eğitildi ve toplam 200.000 işlem saatine ulaştı. Stability AI CEO’su Mostaque, piyasa fiyatına göre yalnızca modeli eğitmenin 600.000 dolara mal olduğunu söyledi ve fiyatın rakiplere kıyasla alışılmadık derecede ucuz olduğunu öne sürdü.
Nvidia’nın CEO’su Huang, şirketin ürünlerinin bu tür modellerin ihtiyaç duyduğu hesaplama miktarı için aslında ucuz olduğunu söyledi. Huang, “CPU çalıştıran 1 milyar dolarlık bir veri merkezini aldık ve onu küçülterek 100 milyon dolarlık bir veri merkezine indirdik. Şimdi, bunu buluta koyduğunuzda ve 100 şirket tarafından paylaşıldığında, 100 milyon dolar neredeyse hiçbir şey. Artık 10, 20 milyon dolar gibi bir fiyata GPT gibi büyük bir dil modeli gibi bir şey oluşturabilirsiniz. Bu gerçekten çok uygun.” dedi.
tarafından verilmektedir.