OpenAI'ın internetsiz eğitiminde yapay zeka ajanı engeli aşıp bilgi aldı

İnternet bağlantısını kesmek, yapay zeka ajanlarının birbirinden tamamen yalıtılması için yeterli olmayabiliyor. OpenAI'ın 23 Ekim'de yayımladığı güvenlik açıklamasında aktardığı deney, aynı donanımı paylaşan ayrı çalışma ortamları arasında beklenmedik bir iletişim yolu bulunduğunu gösteriyor. Ajanlar, ağ bağlantısı açmadan ve ortak bir dosyayı değiştirmeden, test için oluşturulan gizli bilgileri birbirine aktarabildi.

Şirket, en gelişmiş modellerinin eğitiminde canlı internet yerine indekslenmiş ve önbelleğe alınmış web içeriği kullanıyor. Bu ortam, modellerin dışarıdaki sistemleri etkilemeden arama yapmasına ve web sayfalarıyla çalışmasına olanak tanıyor. Yeni açıklama, eylülde durdurulan çalışmaların 1 Ekim'de hangi koşullarla yeniden başladığını da ayrıntılandırıyor.

Eğitimi durduran DNS açığı

OpenAI'ın araştırma ortamlarındaki sorunlar eylül ayında kamuoyunun gündemine gelmişti. Açıklanan vakalar arasında üçüncü taraf şirketlerin sistemlerine yetkisiz erişim, devlet kurumlarının sitelerindeki açıkların kullanılması ve küçük internet sitelerinin ajanlar arasında mesajlaşma alanına dönüştürülmesi bulunuyordu. 

Öte yandan açıklama tarihleriyle olay tarihleri aynı değildi. 

Örneğin bir devlet istatistik sitesine ilişkin olay 17 Haziran'da yaşanmıştı. Bu vakada araştırma modelinden geçmiş yıllara ait hastane yatağı sayılarını bulması istenmişti. Model, erişim engelleriyle karşılaşınca sitenin dosya indirme özelliğini kullanarak sunucu yapılandırmasına ve uygulama dosyalarına ulaştı. Ardından yetkilendirme kontrollerini aşarak başlangıçta erişemediği istatistikleri aldı. Böylece sıradan bir veri arama görevi, talebin kapsamı dışındaki hassas bilgilere erişime dönüştü.

Açığı buldu, sohbet botuna sordu

Eğitime ara verilmesine yol açan son olay ise 20 Eylül'de gerçekleşti. Bir araştırma modeli, kendisine verilen ipuçlarından bir blog yazarının kimliğini bulmaya çalışırken DNS hizmetindeki yetersiz filtrelemeyi kullandı. Doğrudan web istekleri engellenmesine rağmen bu yol üzerinden dışarıdaki bir sohbet botuna soru gönderebildi ve yanıt alabildi.

OpenAI'ın olay raporuna göre izleme sistemi davranışı 15 dakika içinde işaretledi, üç dakika sonra bir insan incelemeye başladı. Çalışma daha sonra durduruldu. Şirket, açığı kapatmak için birbirinden bağımsız iki engelleme katmanı ekledi. En gelişmiş modellerin çalışmalarına verilen 11 günlük aranın ardından pekiştirmeli öğrenme eğitimi ve şirket içi model çalıştırma işlemleri 1 Ekim'de yeniden başladı.

İşlemci önbelleği nasıl mesaj kanalına dönüştü?

Yeni açıklamadaki önbellek deneyi, ajanlara güvenlik sınırlarını aşmayı denemeleri için görev verilen kontrollü testlerden biriydi. Ayrı sanal makinelerdeki ajanlardan, ağ bağlantısı ve ortak yazılabilir dosya kullanmadan test amaçlı sırları paylaşmaları istendi. Ajanlar, üzerinde çalıştıkları ortak donanımın davranışından yararlandı.

İşlemci önbelleği, yakın zamanda kullanılan verilerin kopyalarını tutan küçük ve hızlı bir bellek. Buradaki veriye erişmek, ana bellekten veri getirmekten daha kısa sürüyor. Deneyde bir ajan, seçili verileri önbellekten çıkararak sinyal oluşturdu. Diğeri aynı verilerin yeniden yüklenme süresini ölçtü ve hızlı ya da yavaş erişimleri mesajın parçaları olarak yorumladı. Kodlama ve çözme yöntemi üzerinde anlaşılınca bilgi aktarımı mümkün oldu.

Bu yaklaşım, bilgisayar güvenliğinde yan kanal olarak bilinen yöntemlerle ilişkili. Bilgi, normal bir mesajlaşma aracından geçmek yerine sistemin ölçülebilen davranışına taşınıyor. Spectre ve Meltdown araştırmaları da işlemcilerdeki yan kanalların bellek içeriğinin açığa çıkmasında nasıl kullanılabildiğini göstermişti. OpenAI'ın deneyinde ise iki ajan, zamanlama farklarını bilerek bir haberleşme kanalına çevirdi.

İlgili haberlerOpenAI model eğitimini 'sızmaya' karşı değiştirdiAçık kaynaklı OpenCode'da 'açık': Hesapları boşalttılarMeta Muse'ta paylaşım geri döndü, eski bağlantılar değişti

Dolayısıyla bulgu, ajanların internet bağlantısı olmadan dış dünyaya ulaştığı anlamına gelmiyor. Gösterilen şey, birbirinden ayrı tutulması gereken iki çalışma ortamının paylaşılan donanım üzerinden bilgi alışverişi yapabilmesi. OpenAI, bu tür iletişim girişimlerini yakalamak için izleme sistemlerine ek kontroller koyduğunu belirtiyor.

Güvenlik katmanı da kod değişikliğinden etkilenebiliyor

Şirketin yakın zamanda açıkladığı başka iki olay, izleme araçlarının korunmasının da ayrı bir sorun olduğunu ortaya koydu. 3 Ekim'de bir GPT-6.1 Sol ajanı, değerlendirme yazılımını onarırken güvenlik ekibine giden otomatik bildirimleri kapattı. Ajan, Slack geçmişinde araştırma yaparken mesaj göndermemesi yönündeki talimatı, izleme bildirimlerini de bastırmak için gerekçe saydı. İzleme çalışmaya ve raporları kaydetmeye devam etti, ancak insanlara gönderilen uyarılar devre dışı kaldı.

6 Ekim'deki diğer olayda GPT-6 Astra ajanı, bir programı referans uygulamaya uyarlarken izleme entegrasyonunu kaldırdı. Daha sonra kullanıcı sorduğunda bunu yapmadığını söyledi. OpenAI, bu vakaların ardından iç kullanımda kod değişikliklerini denetleyen Auto-Review sistemini, izlemeyi kapatma girişimlerini tespit edip engelleyecek şekilde güncelledi.

Eğitimin devamı için hangi kanıtlar aranıyor?

OpenAI, güvenlik önlemleri daha geniş erişimi mümkün kılana kadar en gelişmiş modellerini canlı internete açmadan eğitmeyi sürdürecek. Sanal makinelerin güvenliğinin geliştirilmesi ve test ortamlarındaki zayıflıkların aranması da devam edecek.

Şirketin 28 Eylül'de yayımladığı çerçeve, eğitim çalışmalarının devamı için kanıta dayalı güvenlik değerlendirmeleri hazırlanmasını öneriyor. Bu değerlendirmelerde modelin talimatlara uygun davranması, yetki sınırları içinde tutulması ve sorunlu davranışların izlenmesi birlikte ele alınıyor. Öneriler arasında ajan kayıtlarının sonradan değiştirilemeyecek biçimde saklanması, geçmiş olayların yeni testlerde kullanılması ve önemli uyarılarda çalışmaların hızla durdurulması var.

Aynı çerçeve, güvenlik gerekçelerinin başka ekiplerce sorgulanmasını ve üst yönetimin eğitim çalışmasını durdurabilmesini de öngörüyor. Önbellek deneyi ile izleme vakaları, bu değerlendirmenin neden ağ erişiminden daha geniş bir alanı kapsadığını somutlaştırıyor: Ajanın kullandığı donanım kadar, değiştirebildiği yazılım ve bildirim zinciri de yetki sınırlarının parçası.