Serimizin ilk bölümünde Human-in-the-Loop'un ne olduğunu ve yapay zekanın gelişmesinin neden insanın karar alma sürecinden kaybolması gerektiği anlamına gelmediğini açıkladık.
Üç temel işbirliği modelini öğrendik:
- Human-in-the-Loop - insan karar alma sürecine aktif olarak katılır,
- Human-on-the-Loop - AI bağımsız çalışır, ancak insan sistemi denetler,
- Human-out-of-the-Loop - sistem otonom olarak çalışır, insanın sürekli müdahalesi yoktur.
Şimdi en önemli sorunun vakti: Hangi modeli seçeceğimizi nasıl bilebiliriz?
Asıl zorluk tam da burada başlıyor.
"Bu karar basit, o zaman AI'ya bırakalım" demek yeterli değildir.
Aynı şekilde: "Bu karar çok önemli, her zaman insan onayı olmalı" demek de doğru değildir.
Gerçek daha karmaşıktır.
İyi bir AI mimarisi şunları göz önünde bulundurmalıdır:
- risk seviyesi,
- hata maliyeti,
- kararın geri döndürülebilirliği,
- insan üzerindeki etki,
- veri erişilebilirliği,
- önerinin açıklanabilirliği,
- karar verme sıklığı,
- sistemin etkili biçimde denetlenebilme imkanı.
Sadece bu unsurların analizi, AI'ya ne kadar özerklik güvenle verebileceğimizi belirlemeye olanak sağlar.
En önemli ilke: kontrol edemediğiniz kararları otomatikleştirmeyin
AI uygulamaya genellikle şu soruyla başlanır: "Neyi otomatikleştirebiliriz?"
Olgun bir organizasyonda soru şöyle olmalıdır: "Neyi otomatikleştirebiliriz ve hâlâ etkili biçimde kontrol edebiliriz?"
Bu temel bir farktır.
Çünkü teknik olarak günde binlerce kararı otomatik alan bir sistem kurabiliriz. Teknik açıdan mükemmel çalışabilir.
Ama eğer kimse bilmiyorsa:
- neden belirli bir kararı verdiğini,
- hangi verilere dayandığını,
- ne zaman hata yapmaya başladığını,
- sistemi kimin durdurabileceğini,
- sonuçlardan kimin sorumlu olduğunu,
o zaman olgun bir otomasyonla değil, otomatik olarak risk üreten bir sistemle karşı karşıyayız demektir.
Kararı otomatikleştirmeden önce sorulması gereken dört soru
Kararı AI sistemine devretmeden önce basit bir analiz yapmak faydalıdır.
1. AI hata yaparsa ne olur?
Bu temel bir sorudur.
Her hata aynı sonuçları doğurmaz.
AI bülteni yanlış sınıflandırırsa muhtemelen ciddi bir şey olmaz. Dolandırıcılık girişimini yanlış tespit ederse finansal kayıp olabilir. Bir hastanın sağlık durumunu yanlış değerlendirirse sonuçlar çok daha ciddi olabilir.
Bu nedenle özerklik seviyesi, hatanın potansiyel etkileriyle orantılı olmalıdır.
2. Karar kolayca geri alınabilir mi?
Bu en önemli ama sıkça göz ardı edilen parametrelerden biridir.
İki durumu hayal edelim.
AI otomatik olarak bir e-ticaret sitesinde ürünlerin gösterim sırasını değiştiriyor. Hata tespit edilip geri alınabilir. Risk nispeten küçüktür.
Şimdi başka bir örnek.
AI otomatik olarak bir kullanıcının hesabını silip tüm verilerini kaldırıyor. Bu tür bir kararın geri döndürülmesi çok daha zor olabilir.
Başka bir durumda: AI müşteriye sözleşme feshi bildirimi otomatik gönderiyor. Burada sonuçlar daha da ciddi olabilir.
Bu nedenle kararın geri döndürülebilirliği AI sistemlerini tasarlarken temel kriterlerden biri olmalıdır.
3. Karar doğrudan insanı etkiliyor mu?
AI bir teslimat aracının rotasını optimize ediyorsa risk nispeten düşük olabilir.
Ancak sistem bir işe alım adayını değerlendiriyorsa, kredi veriyorsa ya da belirli bir hizmete erişimi analiz ediyorsa durum tamamen farklıdır.
İnsanları doğrudan ilgilendiren kararlar özellikle dikkat gerektirir. Sadece etik açısından değil; aynı zamanda düzenlemeler, kurum sorumluluğu ve ayrımcılık riski nedeniyle de.
Bu tür alanlarda insan sadece "son tık" olmamalıdır. Sistem önerisini gerçekçi şekilde sorgulayabilmelidir.
4. İnsan sistemi etkili biçimde denetleyebilir mi?
Bu soru göründüğünden daha sinsi bir sorudur.
Günde 50.000 öneri üreten bir sistem hayal edelim. Resmi olarak insan bunların hepsini onaylayabilir. Pratikte bu mümkün değildir. Zamanla çalışan kararları otomatik olarak onaylamaya başlayacaktır.
Burada automation bias adı verilen bir olgu ortaya çıkar - sistem önerilerine aşırı güvenme ve bunları varsayılan olarak doğru kabul etme eğilimi.
İnsan hâlâ "döngüde" görünür. Ancak gerçekte denetleyici işlevini kaybeder. Sadece "Onayla" butonuna basan bir operatör olur.
Bu gerçek bir Human-in-the-Loop değildir.
Karar risk değerlendirme modeli
Pratikte basit bir değerlendirme modeli uygulanabilir.
Her kararı beş parametre açısından analiz ederiz:
1. Hata olasılığı
Sistem ne sıklıkla hata yapabilir?
2. Sonuçların ölçeği
Hata ne kadar ciddi olacak?
3. Geri döndürülebilirlik
Karar hızla geri alınabilir mi?
4. İnsan üzerindeki etki
Karar doğrudan insanın haklarını, finansını, sağlığını veya güvenliğini etkiliyor mu?
5. Denetim imkanı
İnsan süreci etkin biçimde izleyebilir mi?
Risk seviyesi ne kadar yüksekse, insan katılımı o kadar gerekli olur. Bu, her yüksek riskli kararın mutlaka elle alınması gerektiği anlamına gelmez. Ama sistemin uygun kontrol mekanizmalarına sahip olması gerekir.
Seviye 1 - doğrudan otomasyon
En basit kararlar bunlardır.
Örnekler:
- mesaj sıralama,
- belge sınıflandırma,
- özet oluşturma,
- ürün tavsiyeleri,
- başvuruları kategoriye atama.
AI otonom çalışabilir. İnsan her kararı onaylamak zorunda değildir. Ancak sistem izlenmelidir.
Bu model Human-on-the-Loop'a yakındır.
Seviye 2 - AI önerir, insan onaylar
Burada AI verileri analiz eder ve bir öneri sunar.
Kararı insan verir.
Örnekler:
- indirim oranı önerisi,
- şikâyete yanıt önerisi,
- servis aksiyonları önerisi,
- işlem risk değerlendirmesi,
- başvuru önceliklendirme önerisi.
Bu klasik Human-in-the-Loop modelidir.
AI analizi hızlandırabildiği, ancak kararın insan tecrübesi gerektirdiği durumlarda bu model çok iyi çalışır.
Seviye 3 - AI bağımsız karar verir, müdahale imkanı ile
Sistem kararı otomatik alır. Ancak insan kararı durdurup değiştirebilir.
Örneğin şüpheli işlemleri otomatik engelleme. Sistem sıra dışı bir desen tespit edip işlemi engeller. Müşteri sorun bildirirse çalışan kararı doğrulayabilir.
Bu modelde kritik olanlar:
- izleme,
- uyarılar,
- manuel müdahale imkanı,
- karar loglaması,
- acil durum mekanizmaları.
Seviye 4 - tam otonomi
AI insanın sürekli katılımı olmadan çalışır.
Bu model şu süreçler için ayrılmalıdır:
- tekrarlı,
- iyi tanımlanmış,
- düşük riskli,
- izlemesi kolay,
- geri alınabilir.
Örneğin bulut altyapısında otomatik kaynak ölçeklendirme buna örnek olabilir.
Sistem artan yükü algılayıp ek kaynak açar; trafik düştüğünde kapatır. Her kararı onaylamak gerekmez.
Ancak sistem beklenmedik maliyetler üretmeye başlarsa, çalışmasını sınırlayan bir mekanizma olmalıdır.
Otonomi asla kontrolsüzlük anlamına gelmemelidir.
Örnek 1 - e-ticaret
Bir e-ticaret sitesini hayal edelim.
AI şu verileri analiz edebilir:
- satın alma geçmişi,
- kullanıcı davranışı,
- mevsimsellik,
- rakip fiyatları,
- ürün stok durumu.
Müşteriye ürünler önerebilir. Bu nispeten güvenli bir süreçtir.
Sistem otonom çalışabilir. Peki AI fiyatları kendi başına belirleyecekse? Burada durum karmaşıklaşır.
Dinamik fiyatlandırma otomatikleştirilebilir, ancak belirli sınırlar içinde çalışmalıdır.
Sistemde şu kısıtlar olabilir:
- minimum fiyat,
- maksimum fiyat,
- günlük maksimum fiyat değişimi,
- promosyon kuralları.
AI belirlenmiş limitleri aşmak isterse, karar insana devredilebilir.
Bu, sistemin davranışını koruyan sınırlar yani guardrails örneğidir.
Örnek 2 - işe alım
AI adayların CV'lerini inceler.
Şunları yapabilir:
- deneyimleri ayıklamak,
- bilgileri düzenlemek,
- yetenekleri iş gereksinimleriyle eşleştirmek.
Bu, işe alım uzmanının işini hızlandırabilir.
Ancak "Bu adayı reddediyoruz." kararı tamamen farklı bir kategoridir.
Sistem otomatik olarak reddederse, tarihsel verilerdeki hataları pekiştirebilir.
Bu yüzden İK süreçlerinde insan katılımı temel öneme sahip olabilir. AI işe alımcılara destek olmalı; insanın değerini eksik veya hatalı verilere dayanarak otomatik belirlememelidir.
Örnek 3 - lojistik
AI sistemi teslimatları planlar.
Şunları analiz eder:
- mesafe,
- trafik,
- hava durumu,
- şoför erişilebilirliği,
- çalışma saatleri,
- yakıt maliyetleri.
Rotaları kendi başına optimize edebilir.
Ama sistem daha ucuz bir rota seçiyorsa yerel kısıtlamaları göz ardı ediyorsa ya da teslimat süresini sürücülerin aşırı yüklenmesi pahasına optimize ediyorsa ne olur?
Bu nedenle sistem belirlenmiş iş kuralları çerçevesinde çalışmalıdır.
AI optimize eder; organizasyon sınırları tanımlar; sistem güvenli aralığın dışına çıkarsa insan müdahale eder.
Örnek 4 - bankacılık
AI işlemlerdeki anomalileri tespit edebilir.
Sistem sıra dışı bir işlem algılarsa otomatik olarak işaretleyebilir.
Peki sonra ne olur?
Farklı senaryolar mümkündür:
- sadece çalışan için uyarı,
- geçici işlem durdurma,
- otomatik engelleme,
- ek doğrulama gerektiren blokaj.
Seçim risk seviyesine bağlıdır.
Küçük bir tutardaki şüpheli işlemlerde otomasyon uygulanabilir. Daha karmaşık vakalarda uzman analizi gerekebilir.
İşte bu yüzden AI sistemlerinin, belirsizlik veya risk belirli bir eşiği aştığında konuyu insana devretme mekanizmaları yani escalation olmalıdır.
Confidence score - AI nerede emin olmadığını biliyor mu?
En ilginç mekanizmalardan biri güven skorunun kullanımıdır.
Sistem şöyle değerlendirebilir: "Önerimin doğruluk olasılığı yüksek."
Böyle durumlarda işlem otomatik gerçekleştirilebilir.
Ancak sistem önerisini belirsiz olarak değerlendirirse süreç insana devredilebilir.
Örneğin:
Güven skoru > 95% Otomatik uygulama.
Güven skoru 70-95% İnsan için öneri.
Güven skoru < 70% Zorunlu uzman doğrulaması.
Bununla birlikte dikkatli olmak gerekir.
Güven skoru tek başına doğruluk garantisi değildir. Model çok emin olabilir ama yine de hata yapabilir. Bu nedenle güven skoru değerlendirmede tek kriter olmamalıdır; diğer unsurlarla birlikte kullanılmalıdır.
En büyük tehdit: AI'yı kontrol etmeyi bırakan insan
Human-in-the-Loop ile bir sistem tasarlayabilirsiniz.
"AI kararını onayla" düğmesi ekleyebilirsiniz.
Kontrol için insan istihdam edebilirsiniz.
Ve yine de tehlikeli bir sistem yaratabilirsiniz.
Neden? Çünkü insan, kendi deneyimine kıyasla AI'ya daha fazla güvenmeye başlayabilir.
Sistem 1000 vakada doğru çalıştıysa insan 1001.'i dikkatle incelemeyi bırakır. Bu doğal bir davranıştır.
Bu yüzden iyi bir sistem sadece onay gerektirmemelidir. İnsana uygun bağlamı da sağlamalıdır.
Örneğin:
- AI neden böyle bir karar verdi,
- hangi verileri kullandı,
- hangi alternatifleri değerlendirdi,
- belirsizlik düzeyi nedir,
- kararın uygulanmasından sonra neler olabilir.
Böylece insan sadece "güvenlik freni" olmaz.
Sistemin gerçek bir ortağı olur.
Human-in-the-Loop kurgu olamaz
Bu, AI sistemleri tasarımının en önemli ilkelerinden biridir.
Eğer insan AI'yi denetleyecekse şunlara sahip olmalıdır:
- yeterli bilgi,
- yeterli zaman,
- veriye erişim,
- öneriyi sorgulama imkanı,
- süreci durdurma imkanı,
- net sorumluluk.
Çalışanın sadece "Onayla" veya "Reddet" tıklayabildiği, ama AI'nın neden böyle karar verdiğini inceleyemediği bir durumda rolü çok sınırlıdır.
Daha da kötü olanı, sistem o kadar hızlı çalışıyorsa insan analiz yetiştiremez. O zaman resmi olarak Human-in-the-Loop var; pratikte ise insan dekoratif bir rol oynar ve otomasyon hakim olur.
Pratik kontrol listesi - Bu kararı AI'ya verebilir miyiz?
Otomatikleştirmeden önce şu soruları yanıtlamak faydalıdır:
☐ Karar tekrarlanabilir mi?
☐ Yeterince iyi verimiz var mı?
☐ AI'nın ne zaman hata yaptığını belirleyebiliyor muyuz?
☐ Hata kabul edilebilir mi?
☐ Karar geri alınabilir mi?
☐ Karar doğrudan insanı etkiliyor mu?
☐ Net iş kuralları var mı?
☐ Sistemi izlemek mümkün mü?
☐ İnsan AI'yı durdurabilir mi?
☐ Kimin sorumlu olduğu belli mi?
☐ Karar açıklanabilir mi?
☐ İnsan sistemin etkin denetimi için yeterli zaman ve bilgiye sahip mi?
Ne kadar çok "hayır" cevabı varsa, otomasyona o kadar temkinli yaklaşılmalıdır.
Terimler sözlüğü
Automation Bias
İnsanın otomatik sistem önerilerine aşırı güvenme ve bunları yeterli doğrulama yapmadan doğru kabul etme eğilimi.
Guardrails
Sistemin ne yapabileceğini ve ne yapamayacağını belirleyen kısıtlar ve koruyucu mekanizmalar.
Confidence Score
Modelin bir sonuç veya öneriye yönelik güven düzeyini gösteren gösterge. Doğruluk garantisi değildir.
Escalation
Sistem yüksek risk, belirsizlik veya belirlenmiş kuralların dışına çıkan bir durum tespit ettiğinde konuyu insana devretme mekanizması.
Human Override
Sistemin verdiği kararı veya başlattığı işlemi manuel olarak yerine geçme imkanı.
Decision Reversibility
Kararın geri döndürülebilirliği, yani etkilerini önemli sonuçlara yol açmadan geri alabilme imkanı.
High-impact decision
İnsanın yaşamını, haklarını, fırsatlarını veya ekonomik durumunu ciddi şekilde etkileyebilecek karar. Bu tür durumlarda denetim ve sorumluluk gereksinimleri özellikle önemlidir.
En önemli çıkarım
Her karar otomatikleştirilmemelidir; ama her karar için bir insanın bilgisayar başında oturup her işlemi onaylaması da gerekmez.
AI sistemleri tasarlamanın gerçek hedefi, "insan karar veriyor" ile "AI karar veriyor" arasında seçim yapmak değildir.
Hedef uygun bir işbirliği modeli oluşturmaktır.
AI, risk düşükse bağımsız çalışmalı; insan tecrübesine ihtiyaç varsa öneri sunmalı; hatanın sonuçları çok ciddi ise durup yardım istemeli; ve insan her zaman öngörülmeyen durumlarda kontrolü devralabilmelidir.
İyi tasarlanmış AI sistemi en çok kendi başına karar alan sistem değildir. Ne zaman karar alması, ne zaman öneri sunması ve ne zaman "Bu sefer insana ihtiyacım var" demesi gerektiğini doğru tanıyabilen sistemdir.
Bir sonraki bölümde tek bir karardan organizasyon düzeyine geçeceğiz.
Çünkü en iyi tasarlanmış AI sistemi bile, şirket kimin sorumlu olduğunu, kim denetlediğini ve sistem beklendiği gibi çalışmadığında ne yapılacağını bilmiyorsa sorun haline gelebilir.
Bir sonraki bölümde AI Governance ile, yani kuruluş içinde yapay zekâ üzerine ilkeler, sorumluluklar ve denetim mekanizmalarının nasıl kurulacağı ile ilgileneceğiz.
