Son iki yılda yapay zeka hakkındaki tartışmaların çoğu yetenekler üzerine odaklandı.
AI metin yazıyor. AI verileri analiz ediyor. AI kod üretiyor. AI müşteri desteğini destekliyor. AI karar almaya yardımcı oluyor.
Ve tam da son nokta bugün iş dünyası için en önemli zorluklardan biri.
Çünkü yapay zeka karar alma süreçlerine dahil olmaya başladığında, hakkında çok az konuşulan bir sorun ortaya çıkıyor.
İş halüsinasyonları sorunu.
Bu olgu sıradan bir model hatasından çok daha tehlikelidir. Neden? Çünkü bariz bir hatanın aksine, halüsinasyon genellikle profesyonel, mantıklı ve inandırıcı görünür. Ve bu da ona çok kolay güvenilmesine yol açar.
Yapay zekada halüsinasyon tam olarak nedir?
En basit tanımıyla halüsinasyon, modelin gerçek olmayan ama güvenilir görünen bilgi üretmesi durumudur.
Model kasıtlı olarak yalan söylemez. Kimseyi kandırmaya çalışmaz. Sadece eğitildiği verilere dayanarak en olası yanıtı tahmin eder.
Sorun şu: olasılık her zaman gerçekliği anlamına gelmez. Ve tam da burada gerçek iş problemleri başlıyor.
Terimler sözlüğü
Yapay zeka halüsinasyonu
Doğru gibi görünen fakat gerçekle uyuşmayan bilgi üretilmesi.
Confidence Bias
İnsanların kesin ve profesyonel bir şekilde sunulan yanıtlara daha çok güvenme eğilimi.
Human-in-the-Loop
İnsanların AI eylemlerini onayladığı veya doğruladığı işbirliği modeli.
AI Governance
Yapay zekanın kullanımına ilişkin kurallar, prosedürler ve kontrol mekanizmalarının bütünü.
Validation Layer
Bir eylem gerçekleştirilmeden önce verilerin veya kararların doğruluğunu kontrol eden katman.
Operational Risk
Süreçsel, sistemsel veya organizasyonel hatalardan kaynaklanan risk.
Neden iş halüsinasyonları sıradan hatalardan daha tehlikeli?
İki senaryo varsayalım.
İlkinde AI cevap verir: "Bilmiyorum."
İkincisinde cevap verir: "Analize dayanarak A çözümünü öneriyorum."
Sorun şu: ikinci cevap tamamen yanlış olabilir. Ama profesyonelce duyulur. Ve işte bu yüzden tehlikelidir.
Pratikte sorunların çoğu AI'nin cevabı bilmemesinden kaynaklanmaz. Sorun, AI çok ikna edici şekilde cevap verdiğinde ortaya çıkar.
Gerçek hayattan bir örnek
Bir ticari şirket hayal edelim. Bir AI ajanı müşteri geçmişini analiz ediyor ve iddia edilen en yüksek satın alma olasılığına sahip kişileri işaretliyor. Satış ekipleri önerilen gruba odaklanıyor.
Bir ay sonra ortaya çıkıyor ki:
- en iyi potansiyel müşteriler gözden kaçmış,
- bir kısmı müşteri geri dönüşünü kesti,
- satışlar düştü.
Ne oldu?
AI belli bir desen tespit etti. Ama bu tesadüfi bir paterndı. Model işi anlamıyordu. Şirketin stratejisini bilmiyordu. Bazı müşterilerin mevsimsel olarak satın aldığını bilmiyordu. Cevap mantıklıydı. Karar yanlış çıktı.
Yapay zekayla ilgili en büyük mit
En tehlikeli mitlerden biri şu inançtır: "AI iyi cevap veriyorsa, problemi iyi anlıyordur."
Bu doğru değil. Bir dil modeli insan gibi işi anlamaz.
Şunu bilmez:
- şirket politikalarını,
- satış stratejisini,
- departmanlar arasındaki ilişkileri,
- organizasyonel bağlamı,
- sahiplerin amaçlarını.
Bunun yerine, verilen bir sorudan sonra hangi cevabın ortaya çıkmasının muhtemel olduğunu çok etkili tahmin edebilir. Bu büyük bir farktır.
Risk en çok nerede?
Tüm süreçler eşit derecede tehlikeli değildir. Yanlış bir kararın yüksek maliyet ürettiği yerlerde en fazla dikkat gösterilmelidir.
Finans
Yanlış maliyet analizleri.
Hatalı tahminler.
Kötü yatırım tavsiyeleri.
Satış
Potansiyel müşterilerin yanlış nitelendirilmesi.
Müşteri segmentasyonunun hatalı yapılması.
Bütçe tahsisinin verimsizliği.
Müşteri hizmetleri
Yanlış bilgi verilmesi.
Prosedürlerin hatalı yorumlanması.
Üretim
Talep tahminlerinde hata.
Yanlış lojistik kararları.
Uyum (Compliance)
Hukuka aykırı operasyon önerileri.
Düzenlemelerin yanlış yorumlanması.
Kırmızı bayrak 1
AI, doğrulayamadığınız verilere dayanarak çalışır.
Eğer bilinmiyorsa:
- veriler nereden geliyor,
- ne zaman güncellendi,
- kimi tarafından hazırlandı,
kararları sadece AI sonuçlarına dayanarak almamak gerekir.
Kırmızı bayrak 2
Model kaynakları göstermiyor.
Eğer sistem gösteremiyorsa:
- hangi belgeye,
- hangi kayda,
- hangi rapora,
- hangi bilgi tabanına dayanarak ürettiği cevabı,
cevabı üreten temel kaynakları gösteremiyorsa hata riski önemli ölçüde artar.
Kırmızı bayrak 3
AI kontrol sürecinin yerini almaya başlıyor. Bu en sık yapılan hatalardan biridir.
Şirketler işleri hızlandırmak için AI uyguluyor. Bir süre sonra insanlar sonuçları doğrulamayı bırakıyor. İşte o zaman sistemsel bir risk ortaya çıkıyor. Tek bir hatadan değil. Bir dizi hatalı karardan.
Neden şirketler bu hatayı yapıyor?
Çünkü AI çok ikna edici.
Araştırmalar, insanların şu özelliklere sahip sistemler tarafından üretilen yanıtlara daha fazla güvenme eğiliminde olduğunu gösteriyor:
- profesyonelce duyuluyorsa,
- ayrıntılıysa,
- sayısal veriler içeriyorsa,
- mantıksal bir yapıya sahipse.
Bilginin bir kısmı yanlış olsa bile insanlar buna inanır. Bu olgu otomasyon önyargısı (automation bias) olarak adlandırılır.
AI nasıl sorumlu bir şekilde uygulanır?
En iyi organizasyonlar insanı ortadan kaldırmaya çalışmaz. Onun etkinliğini artırmayı amaçlar.
AI kararları desteklemeli. Tek karar verici olmamalı.
İyi yaklaşım
AI:
- verileri analiz eder,
- desenleri tespit eder,
- riskleri işaretler,
- eylemler önerir.
İnsan:
- bağlamı değerlendirir,
- stratejiyi anlar,
- kararı verir.
Kötü yaklaşım
AI:
- analiz eder,
- karar verir,
- uygular,
- raporlar.
Ve insan sadece sonucu izler.
Bu çok tehlikeli bir yol.
Halüsinasyon riskini nasıl azaltırız?
1. Bir doğrulama katmanı ekleyin
Her önemli karar bir doğrulama sürecinden geçmelidir.
2. Şirket içi verileri kullanın
Sistemin ne kadar çok organizasyonel bağlama sahip olması, hata riskini o kadar azaltır.
3. Kaynak talep edin
AI önerisinin dayanağını göstermelidir.
4. Kontrol süreçleri tasarlayın
AI'nin her zaman haklı olduğunu varsaymayın.
5. Etkinliği ölçün
Şunları izleyin:
- öneri doğruluğu,
- karar etkinliği,
- hata sayısı,
- iş üzerindeki etkisi.
Çalışan bir uygulama örneği
Bir satış departmanı hayal edelim.
AI ajanı her gün şunları analiz eder:
- CRM,
- müşteri geçmişi,
- satış temsilcilerinin aktiviteleri,
- kampanya sonuçları.
Sonra iletişim gerektiren müşteri listesi üretir. Ama teklifleri kendi başına göndermez. CRM'deki statüleri değiştirmez. İş kararları almaz. Öneriler hazırlar.
Satış temsilcisi gerekçeyi alır:
- neden müşterinin listede olduğu,
- kayıp riski gösteren hangi veriler,
- hangi eylemlerin önerildiği.
İnsan ancak bundan sonra karar verir. Bu, AI ile işin sağlıklı bir işbirliği örneğidir.
Halüsinasyon sorunu ortadan kalkacak mı?
Muhtemelen hayır.
Modeller giderek daha iyi olacak. Hatalar daha nadir görülecek. Ama tamamen kaybolmayacaklar.
Bu yüzden gelecek, AI'ye sınırsız güvenen firmaların değil; kontrol, doğrulama ve sorumlu kullanım sistemleri kuran organizasyonların olacak.
En önemli sonuç
En büyük tehdit, yanlış yapan AI değil. En büyük tehdit, ikna edici şekilde yanlış yapan AI'dir.
Bu yüzden olgun organizasyonlar "AI kullanabilir miyiz?" diye sormazlar.
Bunun yerine: "AI nasıl daha iyi öneriler sunar ve karar alınmadan önce bunları nasıl doğrularız?" diye sorarlar.
Çünkü iş dünyasında iyi duyan bir cevap ile doğru karar çoğu zaman tamamen farklı iki şeydir.
