Yapay zekâ cevabına ne zaman güvenilir? Doğruluk kapısı ve kaynak gösterimi

Yapay zekânın en yanıltıcı yanı, emin olmadığında da akıcı ve kendinden emin konuşabilmesidir. Bu yüzden “model cevap verdi” ile “bu cevaba güvenilir” aynı şey değildir. Aradaki farkı iki mekanizma kurar.

Doğruluk kapısı.

Her çıktının bir güven ölçüsü vardır. Belirlenen eşiğin altında kalan çıktı kullanıcıya hiç ulaşmaz; onun yerine “emin değilim, şuraya bak” gibi bir yol gösterilir. Böylece hata, sessizce doğru gibi sunulmak yerine, açıkça “bilmiyorum”a çevrilir. Bir sistemin ne zaman sustuğunu bilmesi, ne zaman konuştuğunu bilmesi kadar önemlidir.

Kaynak gösterimi.

Bir asistan, şirketin kendi belgelerine bağlıysa, cevabını yalnızca o belgelerden üretir ve hangi cevabın hangi belgeden geldiğini gösterir. Dayanağı olmayan cevap üretilmez. Bu, hem cevabı doğrulanabilir kılar hem de yanlışsa nereden düzeltileceğini gösterir.

Bir üçüncü katman da hesabın nerede yapıldığıdır. Sayısal işlemler — fiyat, maliyet, çizelge — deterministik bir motorda yapılır; yapay zekâ, bu hesabın etrafındaki yorumda ve okumada devreye girer. Rakamı model “uydurmaz”; motor hesaplar, model açıklar.

Güven, modelin ne kadar büyük olduğundan değil, bu üç mekanizmadan gelir: eşiğin altı gösterilmez, her cevap kaynağını gösterir, hesap deterministik motorda yapılır. Miletus'ta bu katman sonradan satılan bir eklenti değil; her çözümün içinde gelir. Güven, iddia edilen değil, kurulan bir şeydir.