Yapay Zeka Neden Halüsinasyon Görüyor: OpenAI Sinir Ağı Yanılsamalarının Temel Sebebini Açıklıyor

Bir araştırma ekibi OpenAI, ChatGPT gibi dil modellerinin neden bazen kendinden emin bir şekilde gerçekleri icat ettiğine dair detaylı bir inceleme yayınladı . Elde ettikleri bulgular, bu modellerin nasıl eğitildiği ve test edildiği konusunda temel bir hataya işaret ediyor — bilgi eksikliğini kabul etmek yerine tahmin yapmayı ödüllendiren bir sistem.

Araştırmacılar, ikna edici bir benzetme kullanıyor: Çoktan seçmeli bir sınavda bir öğrenci. Eğer boş bir cevap sıfır puan alıyorsa, ancak bir tahminin doğru olma şansı varsa ve bir puan kazanma ihtimali varsa, mantıklı seçim her zaman tahmin yapmaktır. AI için de aynı şey geçerlidir. MMLU (Büyük Çok Dilli Dil Anlayışı) gibi standart ölçütler, ikili doğru/yanlış puanlama sistemi ile çalışır. "Bilmiyorum" diyen bir model otomatik olarak başarısız olurken, risk alıp tahmin yapan bir model bazen doğru olabilir. Bu, özünde, algoritmalara blöf yapmayı öğretir.

Bu sorunlu davranış, geniş metin veri setleri üzerinde yapılan ilk ön eğitim aşamasında başlar. Bazı gerçekler, özellikle de belirsiz olanlar, mutlak kesinlikle tahmin edilmesi istatistiksel olarak neredeyse imkansızdır. Ancak, "tahmin etme" kalıbı daha sonra, geliştiricilerin modeli, her şeyden önce yüksek doğruluk puanlarını önceliklendiren testlerde başarılı olması için ince ayar yaptığı zaman sağlam bir şekilde yerleşir.

OpenAI, çalışmalarında AI performansını değerlendirme şeklimizde bir değişiklik öneriyor. Yazarlar, modellerin kendinden emin yanlışlar için ağır şekilde ceza alması, ancak belirsizliği doğru bir şekilde ifade etmek veya "bilmiyorum" demek için kısmi kredi alması gerektiğini öne sürüyor. Bu, geliştirme yarışını "en zeki" modeller yaratmaktan daha güvenilir ve doğru asistanlar inşa etmeye yeniden odaklayacaktır.

Uzmanlar, bu halüsinasyonların mistik bir hata değil, sistematik, iyi anlaşılan bir sorun olduğunu vurguluyor. En gelişmiş modern modeller bile bağışık değildir. Değerlendirme sistemlerimizi yeniden düşünmek, AI'nın kendi bilgi sınırlarını daha iyi kavrayabilmesi için anahtar olabilir.