Serimizin ilk kısmında temel soruyu sormuştuk: insan ne zaman AI’ı durdurmalı?
İkinci bölümde ajanların özerkliğini inceledik ve yapay zekanın ne kadar bağımsız çalışmasına izin verilebileceğini sorguladık.
Üçüncü bölümde organizasyon seviyesine geçtik ve AI yönetişimi, sorumluluk, güvenlik, izleme ve kontrol ilkeleri hakkında konuştuk.
Şimdi tüm bu parçaları birleştirme zamanı.
Çünkü harika bir AI stratejisi olabilir. İyi prosedürler olabilir. En iyi mühendisleri işe alabilirsiniz. Mükemmel modeli seçebilirsiniz. Ama nihayetinde her şey tek bir soruya iner: Gerçekten değer üretecek kadar otonom, ama kabul edilemez risk kaynağı olmayacak kadar da kontrol altında bir sistem nasıl kurulur?
Bu, yeni nesil AI sistemleri tasarımının en önemli sorunlarından biridir. Ve burada Human-in-the-Loop basit bir "Onayla" düğmesi olmaktan çıkar; sistem mimarisinin bir parçası haline gelir.
AI "kara kutu" olarak tasarlanmamalı
Klasik bir sistemi hayal edelim:
- Kullanıcı bir soru gönderir.
- AI modeli verileri analiz eder.
- Model bir cevap üretir.
- Kullanıcı yanıtı alır.
Bu basit bir chatbot için yeterli olabilir.
Ama AI şirket içi sistemlere eriştiğinde durum tamamen farklılaşır.
Örneğin:
- AI müşteriden gelen mesajı okur.
- Niyetini tanır.
- Sipariş geçmişini kontrol eder.
- Ürünün stok durumunu analiz eder.
- Bir çözüm önerir.
- Cevabı gönderir.
- Bir şikâyet prosedürünü başlatır.
- Para iadesi talimatı verir.
- Sonra CRM’de verileri günceller.
Bu artık tek bir AI modelinden ibaret değildir.
Bu gerçek dünyada eylem yapan bir sistemdir.
Bu yüzden mimari sadece modeli değil tüm zinciri dikkate almalıdır: veri → model → karar → araçlar → eylem → sonuç → izleme
Bu zincirin herhangi bir bileşeni hatalı tasarlanmışsa sistem yanlış bir karar verebilir veya daha da kötüsü—onu otomatik olarak uygulayabilir.
Otonomi ON/OFF anahtarı olmamalı
AI tasarımındaki en büyük hatalardan biri şudur: "Ya insan her şeyi yapar ya da AI her şeyi yapar."
Pratikte çok daha fazla seviye gerekiyor.
Bir otonomi modeli düşünebiliriz:
Seviye 0 - insan her şeyi yapar
AI hiçbir eylem gerçekleştirmez. Sadece bilgi aracı olarak kullanılabilir.
Örnek: Bir geliştirici sorunu çözmek için AI'ya nasıl yapacağını sorar.
AI cevap verir.
Geliştirici cevabı kendi başına analiz eder ve çözümü uygular.
Seviye 1 - AI analiz eder
Sistem bilgi toplar ve işler. İnsan kararı verir.
Örnek: AI dokümantasyonu analiz eder ve özet hazırlar.
İnsan sonucu kendisi değerlendirir.
Seviye 2 - AI öneride bulunur
Sistem durumu analiz eder ve bir eylem önerir. İnsan onaylar.
Örnek: AI şüpheli bir işlemi tespit eder ve ek doğrulama önerir.
Seviye 3 - AI eylemi hazırlar
AI yalnızca karar önermekle kalmaz, aynı zamanda kararın uygulanması için gereken tüm öğeleri hazırlar. İnsan onaylar.
Örnek: Ajan müşteri için cevap, CRM güncellemesi ve indirim teklifi hazırlar.
Çalışan her şeyi onaylar.
Seviye 4 - AI belirlenmiş sınırlar içinde otonom davranır
Sistem karar alıp eylem gerçekleştirebilir. Ancak sadece belirlenmiş kurallar çerçevesinde.
Örnek: Ajan, müşteri kabul ettiyse teslimat tarihini bir gün erteleyebilir.
Ancak sözleşme koşullarını değiştiremez.
Seviye 5 - AI tamamen otonom
Sistem durumu kendi başına analiz eder, karar alır ve eylemleri uygular. İnsan tüm sistemin denetiminden sorumlu kalır.
Böyle bir otonomi düzeyi çok temkinli uygulanmalıdır.
Sebep AI’nın asla bağımsız çalışamayacağı değil; sebep otonomi arttıkça hata oluştuğunda sonuçların da büyümesi.
En önemli ilke: otonomi riskle orantılı olmalı
Tek bir evrensel kural koymanın anlamı yok: "AI her zaman insan onayı almalı."
Bu otomasyonun faydalarını tamamen yok edebilir.
Binlerce rutin operasyonu yöneten bir sistemi düşünün. Her biri elle onay gerektirirse, insan bir darboğaz olur.
Öte yandan: "AI her şeyi kendi başına yapabilir"
bu da kötü bir fikirdir.
Bu yüzden otonomi düzeyi risk temelinde belirlenmelidir.
Analiz edilebilecek faktörler arasında:
- olası zarar,
- hata maliyeti,
- eylemin geri alınabilirliği,
- insana etkisi,
- finansal etkisi,
- hukuki etkisi,
- veri hassasiyeti,
- hatanın tespit edilebilirliği,
- reaksiyon için gerekli süre.
Bu çok pratik bir kurala götürür:
Risk ne kadar büyük ve geri alınması zor bir sonuçsa, süreçte insan payı o kadar büyük olmalıdır.
Geri alınabilir vs Geri alınamaz eylemler
Çok kullanışlı kriterlerden biri de eylemleri geri alınabilir ve geri alınamaz olarak ayırmaktır.
Geri alınabilir eylemler
Örnekler:
- görev sıralamasını değiştirme,
- bir belge taslağı oluşturma,
- cevap önerisi hazırlama,
- kampanya taslağı oluşturma.
AI hata yaparsa, insan bunu kolayca düzeltebilir.
Bu tür durumlarda sisteme daha fazla otonomi verilebilir.
Geri alınması zor eylemler
Örnekler:
- para transferi yapma,
- veri silme,
- sözleşme imzalama,
- sistemin önemli parametrelerini değiştirme,
- hukuki açıdan önemli bilgi gönderme,
- insan haklarını etkileyen karar alma.
Burada kontrol seviyesi önemli ölçüde yükselmelidir.
Bu basit ama etkili bir tasarım kuralıdır:
Hata kolayca geri alınabiliyorsa AI daha fazla serbestliğe sahip olabilir.
Human-in-the-Loop, Human-on-the-Loop ve Human-in-Command
Üç yaklaşımı ayırt etmek faydalıdır.
Human-in-the-Loop
İnsan karar sürecine doğrudan katılır.
AI önerir.
İnsan onay verir.
Yüksek riskli süreçler için iyi bir çözümdür.
Human-on-the-Loop
AI bağımsız çalışır, ancak insan sistemi izler ve müdahale edebilir.
Tekrarlayan ve iyi tanımlanmış süreçler için uygundur.
Örnek: Sistem görev sırasını otomatik olarak optimize eder.
İnsan her değişikliği onaylamaz.
Ancak sonuçları izler ve kontrolü devralabilir.
Human-in-Command
İnsan stratejik seviyede kalır.
Her tekil kararı kontrol etmez.
Ancak şu konulardan sorumludur:
- işleyiş kuralları,
- otonominin kapsamı,
- sistem hedefleri,
- sınırlamalar,
- sorumluluk,
- sistemi durdurma yeteneği.
Bu, büyük otonom sistemler için özellikle önemlidir.
Human Override - insanın kontrolü devralabilme yeteneği
Sistem otonom çalışabiliyorsa, insan kontrolü devralabilmelidir.
Buna Human Override denir.
Mekanizma farklı şekillerde olabilir.
Bunlar olabilir:
- manuel onay,
- sürecin durdurulması,
- eylemin iptali,
- kararın geri alınması,
- sistemi manuel moda alma,
- ajanın araç erişimini kaldırma.
Ancak bu mekanizma sadece teoride olmamalıdır.
Eğer insan kontrolü devralabiliyorsa ama bunun için 48 saate ihtiyaç varsa ve ajan birkaç saniyede eylem yapıyorsa, sorun var demektir.
Human Override: erişilebilir, hızlı ve gerçekten etkili olmalıdır.
Fail-Safe - AI emin olmadığında ne olur?
İyi tasarlanmış bir sistem AI’nın her zaman haklı olacağını varsaymamalıdır. Bazen hata yapacağı kabul edilmelidir.
Bu yüzden Fail-Safe mekanizmasına ihtiyacımız var.
Eğer sistem:
- yeterli veriye sahip değilse,
- güven seviyesi düşükse,
- çelişkili bilgiler buluyorsa,
- kapsam dışı bir durumla karşılaşıyorsa,
- kurallara göre eylem yapamıyorsa,
zorla karar almamalıdır.
"Bilmiyorum." demeli — ve işi insana devretmelidir.
Bu, olgun bir AI sisteminin en önemli özelliklerinden biri olabilir: her soruya cevap verme yeteneği değil; cevap vermemesi gerektiğini bilme yeteneği.
Confidence Score - dikkatle kullanılmalı
AI sistemlerinde sıklıkla güven skorundan bahsedilir.
Sistem şöyle diyebilir: "Önerimin confidence oranı %95."
Harika görünüyor. Ama dikkatli olun.
Modelin güven düzeyi, cevapın gerçekten doğru olma olasılığını her zaman göstermez. Model çok emin olabilir ama yine de yanlış olabilir.
Bu yüzden confidence score bir sinyalden ibaret olmalı, mutlak gerçek değil.
Yine de süreci tasarlamak için kullanılabilir.
Örneğin:
- yüksek güven + düşük risk = otomasyon,
- orta güven = insan için öneri,
- düşük güven = zorunlu yükseltme.
Bu, dinamik bir Human-in-the-Loop oluşturmayı sağlar.
Her karar insan gerektirmez. Ama her kararın bir yükseltme yolu olmalıdır.
Dinamik Human-in-the-Loop
Bu, AI sistemleri tasarımında çok ilginç bir yön.
"Her kararı insan onaylasın" yerine
kural koyarız: "Sistem risk artışı tespit ettiğinde insan devreye girer."
Örnek:
Müşteri hizmetleri ajanı standart sorulara kendisi cevap verebilir.
Müşteri gönderinin durumunu soruyorsa — ajan cevap verir.
Müşteri adres değiştirmek istiyorsa — ajan kurallara uygun şekilde işlemi yapabilir.
Müşteri büyük bir para iadesi talep ediyorsa — sistem insan müdahalesine devreder.
Hukuki bir risk ortaya çıkarsa — yükseltme.
Sistem müşterinin niyetini anlayamazsa — yükseltme.
Böylece insan her şeyi kontrol etmez; gerçekten insan değerlendirmesi gerekenleri kontrol eder.
Ajanın yalnızca gerçekten ihtiyaç duyduğu yetkileri olmalı
Bu güvenliğin en önemli ilkelerinden biridir. Ajan belirli bir görevi gerçekleştirecekse sadece gerekli yetkileri almalıdır.
Hayır: "CRM’e tam erişim verelim, belki işine yarar."
Sadece: "ajanın müşteri verilerini okuma ve bir kayıt oluşturma yetkisi gerekiyor."
Bu yaklaşım siber güvenlikte En Az Ayrıcalık (Least Privilege) olarak bilinir. Minimum yetki.
Eğer ajan ele geçirilirse veya hata yaparsa, potansiyel zararın kapsamı sınırlanmış olur.
Bu, ajan tabanlı mimarilerde özellikle önemlidir.
Bir ajanın yapabilecekleri:
- veri okumak,
- veri yazmak,
- mesaj göndermek,
- para transferi yapmak,
- sistem konfigürasyonunu değiştirmek,
çok tehlikeli olabilir.
Bu nedenle her yetenek bir belirli risk düzeyine sahip araç olarak değerlendirilmelidir.
Tool Calling - ajanın sınırsız erişimi olmamalı
Modern AI ajanları sıkça araçlara başvurur.
Model örneğin şu çağrıları yapabilir:
- API,
- veritabanı,
- ERP sistemi,
- CRM,
- arama motoru,
- ödeme sistemi.
Bu büyük bir güce sahip olmak demektir. Ama aynı zamanda büyük risk taşır. Bu yüzden araç çağrıları kontrol edilmelidir.
Sistem şunları bilmelidir:
- hangi kullanıcıların hangi aracı çağırabileceğini,
- hangi argümanların kabul edilebilir olduğunu,
- hangi değerlerin izinli olduğunu,
- insan onayının gerekip gerekmediğini,
- eylemin nasıl kaydedildiğini.
Ajanın şu fonksiyona erişimi olabilir: create_invoice
ancak otomatik olarak şu fonksiyona erişmemelidir: delete_all_invoices
Saçma geliyor olabilir.
Ancak tam da bu yüzden sistemleri en kötü senaryoyu düşünerek tasarlamak gerekir.
Guardrails bir güvenlik mimarisidir
Guardrail’ler birçok seviyede çalışmalıdır.
Veriyle ilgili guardrail’ler
Ajanın hangi bilgileri okuyabileceği?
Eylemle ilgili guardrail’ler
Hangi operasyonları yapabilir?
Finansal guardrail’ler
Ne kadar tutara kadar otonom davranabilir?
Zamana bağlı guardrail’ler
Hangi saatlerde işlem yapabilir?
Kullanıcıya yönelik guardrail’ler
Hangi müşteriler için işlem yapabilir?
Risk odaklı guardrail’ler
Hangi eylemler onay gerektirir?
Böylece ajan sisteme yalnızca erişim elde etmez.
Bunun yerine kontrollü bir yetki seti alır.
AI Ajanı bir dijital çalışan mı?
Bu çok popüler bir metafor. AI ajanı dijital bir çalışan gibi görülebilir. Ama temel bir fark vardır.
Bir çalışanın sahip olduğu şeyler:
- tecrübe,
- bağlam,
- sezgi,
- sorumluluk bilinci.
Ajanın sahip olduğu ise:
- bir model,
- veriler,
- araçlar,
- talimatlar,
- sınırlamalar.
Bu nedenle ajanları "Ne yapması gerektiğini söyleyelim, sonra görelim" yaklaşımıyla tasarlamamalıyız.
Ajanın açıkça tanımlanmış olması gerekir:
- hedef,
- çalışma kapsamı,
- veri erişimi,
- araç erişimi,
- otonomi seviyesi,
- başarı kriterleri,
- yükseltme koşulları,
- durdurma koşulları.
Sistem ne kadar otonom olursa, iş süreçlerinin işletim sistemi gibi davranır. Bu yüzden mimariye ihtiyaç duyar.
Güvenli bir AI sisteminin mimarisi
Bir sistemin birden çok katmandan oluştuğunu hayal edebiliriz.
Katman 1 - veriler
Organizasyonun veri kaynakları.
ERP.
CRM.
CMS.
Veritabanları.
Belgeler.
API’ler.
Katman 2 - AI modelleri
Dil modelleri, öngörü modelleri ve diğer AI bileşenleri.
Katman 3 - orkestrasyon
Neyin sırayla yapılacağını belirleyen mantık.
Katman 4 - ajan
Sistem durumu analiz eder ve eylem planlar.
Katman 5 - araçlar
Ajan belirli API ve fonksiyonları kullanabilir.
Katman 6 - guardrail’ler
Sistem ajanın neler yapabileceğini kontrol eder.
Katman 7 - Human-in-the-Loop
Belirli durumlarda karar insanlara gider.
Katman 8 - izleme
Sistem eylemleri ve karar kalitesini izler.
Katman 9 - audit trail
Tüm önemli eylemler kaydedilir.
Katman 10 - acil kontrol mekanizmaları
Sistemi durdurma veya kontrolü alma imkânı vardır. Bu tek mümkün mimari değildir.
Ama önemli bir prensibi gösterir: güvenli bir AI sistemi sadece bir model değildir.
Kontrol mekanizmalarından oluşan bir ekosistemdir.
Human-in-the-Loop pratikte nasıl uygulanır?
En iyisi küçük bir süreçle başlamak.
"Tüm şirketi otomatikleştirelim" diye başlamak değil.
Bunun yerine: "AI’nin güvenli şekilde yardımcı olabileceği bir süreci seçelim."
Sonra:
Adım 1 - kararı tanımla
AI tam olarak ne yapacak?
Adım 2 - riski belirle
Sistem hata yaparsa ne olur?
Adım 3 - otonomi seviyesini belirle
AI şunlardan hangisini yapacak?
- analiz eder,
- önerir,
- eylem hazırlar,
- eylem gerçekleştirir?
Adım 4 - yükseltme koşullarını tanımla
İnsan ne zaman kontrolü devralmalı?
Adım 5 - guardrail’leri tasarla
Hangi eylemler yasaklanmış?
Adım 6 - yetkileri sınırla
Hangi araçlara gerçekten ihtiyaç var?
Adım 7 - izlemeyi tasarla
Hataları nasıl tespit edeceğiz?
Adım 8 - Human Override’u tasarla
İnsan sistemi nasıl durdurur?
Adım 9 - acil durum senaryolarını test et
Şu durumlarda ne olur:
- API çalışmazsa,
- veriler hatalıysa,
- model yanlış cevap verirse,
- kullanıcı kötü niyetli talimat verirse,
- ajan istenmeyen bir eylem gerçekleştirirse?
Adım 10 - sonra otonomiyi artır
Önce gözlem, sonra öneriler, ardından sınırlı otomasyon. En son daha fazla otonomi.
Bu, ilk günden tam otonomi uygulamaktan çok daha güvenli bir yoldur.
En yaygın hata: anlamadığımız süreci otomatikleştiriyoruz
Bu hata sadece AI’ya özgü değildir; her otomasyon için geçerlidir.
Bir süreç kötü tasarlanmışsa, otomasyon onun daha hızlı çalışmasını sağlar.
Ancak hızlı her zaman daha iyi demek değildir.
Böylece "kaosu otomatikleştiririz."
AI sadece problemin ölçeğini artırır.
Bu yüzden devreye almadan önce şu soruyu sormalıyız: Otomatikleştirmek istediğimiz süreç gerçekten iyi tasarlanmış mı?
Eğer değilse, önce süreci düzeltelim; sonra AI ekleyelim.
AI sistemleri tasarımının en önemli ilkesi
AI’yı hiç hata yapmayacak şekilde tasarlamayalım. Bu gerçekçi değildir.
Bunun yerine şu şekilde tasarlayalım: hata tespit edilebilir, sınırlandırılabilir ve düzeltilebilir olsun.
Bu temel bir farktır. Olgun bir AI sistemi hatasız değil; hatalara dayanıklı bir sistemdir.
Güvenli Human-in-the-Loop kontrol listesi
Sistemi devreye almadan önce şu sorulara cevap verin:
☐ AI'nın hangi kararı verdiğini biliyor muyuz?
☐ Olası hatanın maliyetini biliyor muyuz?
☐ Karar geri alınabilir mi?
☐ Otonomi seviyesini belirledik mi?
☐ AI yalnızca gerekli yetkilere mi sahip?
☐ Guardrail’ler var mı?
☐ İnsan ne zaman müdahale etmesi gerektiğini biliyor mu?
☐ Sistem konuyu insana devredebiliyor mu?
☐ Human Override var mı?
☐ Acil durdurma mekanizması var mı?
☐ Eylemler kaydediliyor mu?
☐ Eylem kalitesini izliyor muyuz?
☐ Model drift tespit edebiliyor muyuz?
☐ Sistemin sorumlusu kim biliyor muyuz?
☐ Olay müdahale prosedürümüz var mı?
☐ Acil durum senaryolarını test ettik mi?
Bu soruların çoğuna "evet" cevap veriyorsak, olgun bir AI devreye alımına çok daha yakınız demektir.
Terimler sözlüğü
Human-in-the-Loop
İnsanın karar sürecine doğrudan katıldığı ve AI’nın belirli eylemlerini onayladığı model.
Human-on-the-Loop
AI’nın bağımsız çalıştığı, insanın sistemi izleyip müdahale edebildiği model.
Human-in-Command
İnsanın hedefler, kurallar, otonomi kapsamı ve genel kontrolden sorumlu olduğu model.
Human Override
İnsanın AI sisteminin kontrolünü devralmasına veya eylemini iptal etmesine imkân veren mekanizma.
Fail-Safe
Belirsizlik veya arıza durumunda sistemin riskli eylemleri sürdürmek yerine güvenli bir duruma geçmesini sağlayan güvenlik mekanizması.
Guardrails
AI’nın gerçekleştirebileceği eylemlerin sınırlarını belirleyen kısıtlamalar.
Least Privilege
Sisteme yalnızca görevini yerine getirmek için gerekli yetkilerin verilmesi ilkesi.
Tool Calling
AI modelinin dış araçlara, API’lere ve sistemlere erişmesini sağlayan mekanizma.
Kill Switch
Sistemi hızlıca durdurmayı sağlayan mekanizma.
Audit Trail
Sistemin gerçekleştirdiği işlemlerin daha sonra izlenebilmesini sağlayan kayıt.
Model Drift
Veri veya çevredeki değişikliklerden kaynaklanan model performansındaki bozulma.
Confidence Score
Modelin ürettiği sonuca dair güven seviyesini gösteren gösterge. Cevabın doğruluğuyla otomatik olarak eşleştirilmemelidir.
Serinin özeti
Serimizin dört bölümünde basit bir sorudan başladık: "İnsan AI’ı kontrol etmeli mi?"
ve çok daha karmaşık bir soruya ulaştık: "İnsan ve AI’nın güvenli şekilde birlikte çalışabileceği bir sistem nasıl tasarlanır?"
Cevap şu değildir: "İnsan her şeyi onaylamalı."
Aynı şekilde şu da değildir: "AI tamamen bağımsız olmalı."
En iyi çözüm bu iki uç arasında bulunur.
AI gerekli olduğu kadar otonomiye sahip olmalı. İnsan ise bilgisi, sorumluluğu, tecrübesi ve değerlendirme gücü en çok değere sahip olduğu yerde bulunmalıdır.
Sistem ne zaman eylem yapacağını bilmeli. Ne zaman soru soracağını bilmeli. Ne zaman duracağını bilmeli. Ve insan her zaman kontrolü nasıl geri alacağını bilmelidir.
İşte olgun bir Human-in-the-Loop yaklaşımı budur.
İnsan AI’nın üzerinde durup her kararı onaylamalı diye değil; otonominin kontrol edildiği, sorumluluğun net olduğu, riskin izlendiği ve insanın gerçek müdahale imkanına sahip olduğu bir mimari oluşturmak için.
Otonomi kontrol altında, sorumluluk açık, risk izleniyor ve insan müdahale edebiliyor olmalıdır.
Çünkü AI’nın geleceği yalnızca en özerk sistemleri kuranların değil;
muhtemelen makine otonomisi ile insan sorumluluğu arasındaki sınırı en iyi yönetenlerin de olacak.
Ve belki de önümüzdeki ajan çağı için en önemli soru şöyle olmayacak: "AI’ya ne kadar izin verebiliriz?"
Ama: "AI’ya ne kadar izin verebiliriz, uygulamalarının sonuçları üzerinde tam kontrolü nasıl koruruz?"
Bu soru her ciddi AI uygulamasında tekrar edilecektir.
Ve sistemler ne kadar otonom hale gelirse, ilk kararı vermeden önce cevabı bilmek o kadar önemli olacaktır.
