NVIDIA'dan internetsiz, cihazda çalışan yapay zeka

NVIDIA, Nemotron 3.5 Bolt E4B 4GB adlı açık küçük dil modelini 23 Ekim'de kullanıma sundu. Model, konuşurken uygulama arayüzlerini çağırarak iş yapabildiği için sesli asistanlar, etkileşimli karakterler ve robot arayüzlerine hitap ediyor.

Model, Google'ın Gemma 4 E4B modeli üzerine NVIDIA'nın Nemotron eğitim yöntemleriyle geliştirildi. Toplam 8 milyar parametreli ve etkin olarak 4 milyar parametre kullanan yapıda; 64 bin token bağlam penceresi ve 35 dil desteği var. Düşünme özelliği istenirse açılıp kapatılabiliyor.

Bellek ve hız: Şirketin kendi ölçümleri

NVIDIA, modelin hedeflenen iş yüklerinde yaklaşık 4 GB belleğe sığacak şekilde tasarlandığını söylüyor. Hugging Face'teki Q4_K_M dosyasının boyutu ise bağımsız bir incelemeye göre 6,18 GB; dolayısıyla 4 GB rakamı indirme boyutunu değil, çalışma sırasındaki bellek bütçesini anlatıyor.

NVIDIA, modelin önceki Nemotron 3 Nano 4B'ye göre konuşmalı yapay zeka testlerinde yaklaşık yüzde 40 daha yüksek ortalama başarı elde ettiğini ve benzer boyuttaki rakiplere göre bu farkın yaklaşık yüzde 10 olduğunu ileri sürüyor. Şirket ayrıca rakiplerine göre yüzde 80'e kadar daha az çıktı ürettiğini belirtiyor. Bu sonuçlar şirketin kendi testlerinden geliyor.

İlgili haberlerTencent Hy-Nomas'ı açık kaynak yaptı: Video üretirken komut alıyorGemini arabanızda özel asistan olduAnthropic, Nscale ile 45 milyar dolarlık anlaşmayı görüşüyor

Demirci karakteri ve Reachy Mini robotu

NVIDIA'nın paylaştığı videoda Reachy Mini robotu, Jetson Orin Nano 8 GB üzerinde sohbet edip hareket ediyor. Konuşmayı Bolt, görüntü anlamayı NVIDIA Cosmos modeli üstleniyor ve iki model de internet bağlantısı olmadan cihaz üzerinde çalışıyor.

Oyun tarafında şirketin gösterdiği örnekte demirci karakteri, ödemeyi doğruladıktan sonra tarifi kontrol ediyor, malzemeleri topluyor ve eşyayı kendi başına üretiyor.

Nasıl indirilir?

Geliştiriciler modeli Hugging Face sayfasından indirebiliyor. Model Ollama, LM Studio ve Unsloth gibi araçlarda da yer alıyor; Ollama kuruluysa ollama run nemotron-3.5-bolt:e4b komutuyla doğrudan çalıştırılabiliyor. Modelin lisansı OpenMDW-1.1. NVIDIA, eğitim yönteminin ve kullanılan veri setlerinin de açık olduğunu duyurdu.