Block'tan dinleyip konuşabilen yapay zeka: Dessa

Jack Dorsey'nin kurucu ortağı olduğu Block'un araştırma laboratuvarı, Dessa adlı konuşmadan konuşmaya yapay zeka modelini duyurdu. Block'un açıklamasına göre Dessa, sıfırdan insan konuşmalarını dinleyerek eğitildi. 

Eğitimde yazılı metinlerden veya daha önce geliştirilmiş modellerden yararlanılmadı. Projenin çıkış noktasında, insanların okumayı öğrenmeden önce konuşabilmesinin bir yapay zeka sisteminde de karşılık bulup bulamayacağı sorusu var.

Dessa'nın tanıtımında öne çıkan özellik, karşısındaki kişinin cümlesinin bitmesini beklemeden konuşmaya katılabilmesi. Model, sesli girdiyi alıp sesli yanıt üretiyor ve bu iki işlemi eş zamanlı sürdürebiliyor. Block, konuşma sırasında ne zaman araya girileceğinin ve ne zaman kısa bir "evet" ya da "anladım" karşılığının uygun olduğunun da gerçek diyaloglardan öğrenildiğini belirtiyor.

Konuşmayı metne çevirirken neler kayboluyor?

Sesli asistanlarda kullanılan yaygın yöntem, konuşmayı önce yazıya dönüştürmek, yanıtı bir dil modeliyle hazırlamak ve ardından bu metni seslendirmek. 

Kyutai araştırmacılarının Moshi çalışmasında açıkladığı üzere, ayrı bileşenlerden oluşan bu zincir gecikmeye yol açabiliyor. Konuşmanın metin üzerinden taşınması da duyguyu veya anlamı değiştiren bazı ses özelliklerinin etkileşimden çıkmasına neden olabiliyor.

Bir cümlenin kelimeleri aynı kaldığında bile vurgu, duraksama ve ses tonu anlamı değiştirebiliyor. Dessa'yı geliştiren ekip, modelin kahkaha, alaycı ton, bıkkın bir iç çekiş ve üzüntüyle titreyen ses gibi ayrıntıları algılayıp üretebildiğini söylüyor. Buradaki hedef, söylenen kelimelerle birlikte onların nasıl söylendiğini de konuşmanın parçası hâline getirmek.

"Tam çift yönlü" anlamına gelen full-duplex yapı ise dinleme ve konuşmanın sırayla açılıp kapatılmasını gerektirmiyor. İnsanların birbirinin sözünü tamamlaması veya konuşma sürerken kısa bir karşılık vermesi bu etkileşime örnek. Dessa'nın yayımlanan kayıtlarında, konuşan kişi bir film adını hatırlamaya çalışırken modelin cümleyi tamamlaması da gösteriliyor.

MacBook'ta çalışıyor, eğitimi sunucu sisteminde yapıldı

Block'a göre Dessa'nın çıkarım işlemi, yani eğitilmiş modelin girdiyi işleyip yanıt üretmesi, gerçek zamandan hızlı çalışıyor. Şirket, modelin MacBook Pro M4 Max veya daha güçlü bir bilgisayarda yerel olarak çalışabildiğini belirtiyor. Böylece konuşmanın yürütülmesi için buluttaki bir modele bağlanma zorunluluğu ortadan kalkıyor.

Eğitim tarafında ise farklı bir donanım kullanıldı. Ekip, Dessa'yı tek bir NVIDIA GB200 NVL72 sistemi üzerinde eğittiğini açıkladı. Bu adlandırma tek bir ekran kartını ifade etmiyor. NVIDIA'nın teknik özelliklerine göre GB200 NVL72, 72 Blackwell grafik işlemcisini ve 36 Grace merkezi işlemcisini aynı kabin ölçeğindeki yapıda birleştiriyor. Sıvı soğutmalı sistemde grafik işlemcileri NVLink bağlantısıyla haberleşiyor.

Block ayrıca Dessa'nın büyük dil modellerine kıyasla yüzlerce kat daha az kelimeden dil öğrendiğini belirtiyor. Ancak ekip bu karşılaştırmanın kapsam farkına da dikkat çekiyor. Büyük dil modellerinin programlama dilleri gibi başka alanları da öğrenmesi bekleniyor. Ses kayıtlarında ise aynı kelimenin farklı söylenişleri bile farklı veri üretiyor ve konuşmanın zamanlaması da öğrenilmesi gereken bilginin parçası oluyor.

İlgili haberlerOpenAI'ın internetsiz eğitiminde yapay zeka ajanı engeli aşıp bilgi aldıOpenAI model eğitimini 'sızmaya' karşı değiştirdiApple'dan sessiz sedasız operasyon: Samplab'i satın aldı

Sesli yapay zekada benzer yaklaşımı kimler kullanıyor?

Aynı anda dinleyip konuşabilen modeller Dessa ile başlamadı. Kyutai'nin Eylül 2024'te sunduğu Moshi de kullanıcıdan gelen sesle modelin ürettiği sesi paralel akışlar olarak ele alıyor. Araştırma makalesinde bu tasarımın, konuşmayı kesin sınırlarla ayrılmış kullanıcı ve asistan sıralarına bölme ihtiyacını kaldırdığı anlatılıyor. Böylece üst üste konuşma, araya girme ve kısa karşılıklar modellenebiliyor.

İki proje arasındaki önemli ayrım eğitim yaklaşımında. Moshi, metin tabanlı bir dil modeli omurgasından başlıyor. Sistem ses üretirken zamanla hizalanmış metin birimlerinden de yararlanıyor. Dessa'nın duyurusundaki temel farklılık ise bu metin desteği olmadan, konuşma kayıtlarından dil ve diyalog davranışı öğrenmesi.

Moshi araştırmacıları sistemleri için teorik olarak 160 milisaniye, uygulamada yaklaşık 200 milisaniye gecikme bildiriyor. Dessa'nın tanıtımında ise benzer koşullarda hazırlanmış bir gecikme karşılaştırması sunulmuyor.

İlk kayıtlarda doğal tepkiler ve tuhaf sapmalar var

Block'un paylaştığı tanıtım, insanların Dessa ile yaptığı canlı konuşma kayıtlarına dayanıyor. Şirket, konuşma sırasında modelin yönlendirilmediğini, altyazıların sonradan eklendiğini belirtiyor. Örneklerde model, cümle devam ederken gülüyor veya daha yüksek sesle konuşması istendiğinde sesini yükseltiyor.

Kayıtlar zaman zaman garip diyaloglar da içeriyor. The Verge'ün haberinde aktarılan örneklerden birinde Dessa, karşısındaki kişiyi bir süre "Ronaldo" sanıyor. Christopher Nolan filmleri üzerine başka bir konuşma ise beklenmedik biçimde Bryan Singer'ın Superman filmlerine kayıyor. Bu örnekler, konuşmanın akıcı ilerlemesiyle içeriğin tutarlı kalmasının farklı meseleler olduğunu gösteriyor.

Projenin başında Ragavan Thurairatnam bulunuyor. Laboratuvar, Toronto merkezli derin öğrenme girişimi Dessa'nın eski üyeleri tarafından kuruldu ve doğrudan Jack Dorsey'ye bağlı çalışıyor. Square, söz konusu girişimi satın aldığını 7 Şubat 2020'de açıklamıştı.

Ekip, ses tonundaki duyguyu algılamayı güvenlik açısından da önemsiyor. Verdiği örnek, ciddi acı çeken bir kişinin durumunu fark etmeden konuşmaya devam eden sesli bir yapay zeka. Block, öngörülmeyen riskleri araştırmak üzere küçük bir yapay zeka güvenliği araştırmacısı grubuna erken erişim sağlamayı planlıyor. Başvuru formunda kurumsal e-posta adresi isteniyor. Diğer kullanıcılar için bekleme listesi açık, ancak genel erişim tarihi, fiyatlandırma ve ticari kullanım koşulları henüz açıklanmış değil.