Yapay Zeka

Tencent Hy-Nomas'ı açık kaynak yaptı: Video üretirken komut alıyor

Tencent, Hy-Nomas adlı video modelini açık kaynak olarak yayımladı. Kullanıcılar üretim sürerken metin komutu verebiliyor ve kamerayı yönlendirebiliyor.

Hy-Nomas ile üretilmiş, Ay yüzeyinde yürüyen astronot sahnesi

Tencent, Hy-Nomas adlı video modelini açık kaynak olarak kullanıma açtı. Model, videoyu tek seferde üretmek yerine parça parça oluşturuyor ve her adımda kullanıcıdan yeni bir talimat almaya izin veriyor. Metin komutlarıyla birlikte kamera hareketlerini de kabul eden model, Hugging Face ve GitHub üzerinden indirilebiliyor.

Hy-Nomas nedir ve nasıl çalışır?

Hy-Nomas bir video dünya modeli olarak tanımlanıyor. Kullanıcı üretim sürerken sahneye yeni nesneler ekleyebiliyor, stili ya da ortamı değiştirebiliyor, karakterin hareketini tarif edebiliyor ve kamerayı yönlendirebiliyor. 

Önceki parçalardaki bilgiler bir önbellekte saklandığı için model aynı dünyayı tutarlı biçimde sürdürmeye çalışıyor.

Hızlandırılmış sürüm her video parçası için 8 adımlık bir işlem kullanıyor ve 720 x 1280 çözünürlükte saniyede 24 kare üretiyor. Metin kodlayıcı olarak Qwen, video çözücü olarak PixelUMM tercih edilmiş.

Tencent'in paylaşımında robotik gibi özel alanlar için hafif LoRA uyarlaması da öne çıkıyor. Yayımlanan dosyalar arasında çift kollu robotlara yönelik LoRA adaptörleri de yer alıyor.

Donanım gereksinimi ve lisans

Kod ve ağırlıklar Apache 2.0 lisansıyla yayımlandı. Model dosyalarının toplamı yaklaşık 196 GB'a ulaşıyor. Tam yapılandırma sekiz GPU ile çalışacak şekilde tasarlanmış; tek bir NVIDIA GeForce RTX 4090 için ise INT8 ve FP8 sıkıştırmalı ayrı bir yapılandırma sunuluyor.

Tencent'in barındırdığı bir API ya da ücretli bir servis bulunmuyor. Modeli kullanmak isteyenler kendi donanımında çalıştırmak zorunda kalıyor.

Test verisi ve eksik kalan ayrıntılar

Tencent, kontrol gücünü ölçmek için 280 test senaryosu ve yaklaşık 220 referans kamera yörüngesi içeren Hy-Nomas-Bench veri setini de paylaştı. Ancak veri setinde videolar ve puanlar yer almıyor. Teknik rapor ise henüz yayımlanmadı.

Bu tablo, modelin üretim kalitesine dair bağımsız bir sayısal karşılaştırma bulunmadığı anlamına geliyor. Hy-Nomas bugün son kullanıcıya dönük bir uygulama değil; araştırmacıların ve geliştiricilerin kendi donanımında deneyeceği açık kaynak bir araç olarak öne çıkıyor.

Kaynaklar: ShiftDelete.Net Global · AlphaSignal · OrcaRouter

Görsel: Tencent Hunyuan