Amazon, PyTorch'u Nvidia'nın kalesinden çekmeye çalışıyor

Amazon Web Services, PyTorch ile yazılmış yapay zeka kodlarını kendi çipi Trainium'a taşıyan TorchNeuron aracını pazartesi günü duyurdu. Şirket, geliştiricilerin mevcut kodlarını yeniden yazmadan bu çipte çalıştırabileceğini söylüyor. Hamle, Nvidia'nın yıllardır sürdürdüğü yazılım avantajına doğrudan yöneliyor.

Tek satırlık değişiklik iddiası

TorchNeuron, PyTorch'un yapısına eklenen bir arka uç olarak çalışıyor. Amazon'a göre bir yapılandırma ayarını değiştirmek, uygulamayı Trainium üzerinde çalıştırmaya yetiyor. Şirket, PyTorch ile geliştirilen yapay zeka uygulamalarının yaklaşık yüzde 85'inin bu çerçeveyle yazıldığını belirtiyor. Meta'nın geliştirdiği PyTorch, 2022'den beri Linux Foundation çatısı altında yer alıyor.

Nvidia'nın CUDA yazılımı ise yıllar içinde PyTorch uygulamalarını kendi donanımında sorunsuz çalıştıracak biçimde düzenlendi. Bu nedenle Nvidia donanımı, çerçevenin varsayılan seçimi haline geldi. TorchNeuron'un hedefi tam olarak bu bağımlılığı azaltmak. Amazon, yalnızca kendi çipini değil, PyTorch'un ana kod tabanına da değişiklik göndererek çerçevenin Nvidia'ya bu kadar bağlı kalmasını azaltmayı planladığını açıkladı.

Bulut hesabı ve maliyet iddiası

Amazon'un bu hamlede bulut hizmetlerini de öne çıkardığı görülüyor. Şirketin savına göre, Trainium'a geçen girişimler, Nvidia donanımına bağlı CoreWeave, Nebius ve Firmus gibi bulut sağlayıcılarından ziyade AWS'in bütün altyapısından yararlanabilir. Aynı çipin hem model eğitimini hem de çıkarımı yapabilmesi de AWS'e göre maliyeti düşürüyor. AWS, token başına en ucuz fiyatı sunmadığını ama toplam iş yükünde tasarruf sağlayabileceğini savunuyor.

Verimlilik konusunda rakamlar birbirinden farklı. AWS Annapurna Labs'in yazılım başkanı Colin Brace, TechCrunch'e konuştuğunda sesli yapay zeka şirketi Deepgram'ın Trainium'a geçtikten sonra dolar başına yüzde 70 daha fazla ses işlediğini söyledi. GeekWire'ın aktardığına göre ise Deepgram'ın kıyasında bu fark yaklaşık yüzde 60 olarak geçiyor. Bu farkın hangi test koşullarından kaynaklandığı ayrıntılı olarak açıklanmadı.

Erken kullanıcılar ve sınırlar

Amazon, TorchNeuron'u özel betada 30'dan fazla şirket ve kendi ekibiyle test ettiğini söylüyor. Erken kullanıcılar arasında Cartesia, Deepgram ve Lieber Institute for Brain Development yer alıyor. Hugging Face ise geliştirme araçlarına Trainium desteği ekledi. Araç, Trainium2 ve Trainium3 çiplerini destekliyor. Bazı PyTorch özellikleri henüz desteklenmiyor.

Amazon'un kullandığı gösterimde aynı eğitim betiği standart bir çip ile Trainium üzerinde çalıştırıldı ve model aynı hızda öğrendi. Ancak bu tek bir demo. Genel performans ya da maliyet kazancını bağımsız bir test kanıtlamış değil. Trainium'un en büyük kullanıcıları, Amazon'la finansal bağı güçlü yapay zeka laboratuvarları. GeekWire'ın aktardığına göre Anthropic, Claude modellerini bu çiplerle eğitip çalıştırıyor. OpenAI da Şubat'ta 2 gigavatlık Trainium kapasitesi kullanma konusunda anlaşmıştı.

TorchNeuron, 20 Ekim'de San Jose'daki PyTorch Conference'da herkese açık beta olarak yayımlanacak ve Apache 2.0 lisansıyla açık kaynak olacak. Nvidia'nın CUDA üzerindeki yerini Amazon'un ne kadar sarsabileceği ise yeni geliştiricilerin bu aracı gerçek projelerinde ne kadar benimseyeceğine bağlı görünüyor.