Serimizin önceki bölümünde, yapay zekânın ne zaman bağımsız çalışabileceğini ve ne zaman insan gerektirdiğini ele almıştık.
Otonomi düzeyinin başta şu unsurlara bağlı olması gerektiğini göstermiştik:
- risk,
- hata maliyeti,
- kararın geri alınabilirliği,
- insan üzerindeki etkisi,
- veri kalitesi,
- sistemin izlenebilirliği.
Ayrıca sürece bir insan eklemenin tek başına güvenlik sağlamadığını da biliyoruz.
Bir çalışan AI kararlarını onaylıyor olabilir ama onlara yeterince zaman verilmeyebilir. Onay gerektirebilirsiniz ama sistemin neden belirli bir karar verdiğini göstermeyebilirsiniz. Bir sistem bir yıl boyunca doğru çalıştıktan sonra, veriler, kullanıcı davranışları veya piyasa koşulları değiştiği için yanlış sonuçlar üretmeye başlayabilir.
Bu yüzden bir noktada çok daha büyük bir soru ortaya çıkar: "Yapay zekâ doğru çalışıyor mu?"
Aslında soru şudur: "Bir kuruluş olarak uyguladığımız yapay zekâyı kontrol edebiliyor muyuz?"
İşte AI Yönetimi tam da bununla ilgilenir: AI Governance.
AI Yönetimi nedir?
AI Yönetimi, bir kuruluşta yapay zekânın kullanımına ilişkin kurallar, süreçler, sorumluluklar ve kontrol mekanizmaları sistemidir.
Bu tek bir belge değil. Tek bir prosedür de değil. Ayrıca sadece hukuki bir konu da değildir.
Olgun bir AI Yönetimi birçok alanı kapsar:
- AI kullanım stratejisi,
- güvenlik,
- veri koruma,
- risk yönetimi,
- yasal uyumluluk,
- sorumluluk,
- model izleme,
- erişim kontrolü,
- denetim,
- değişim yönetimi,
- olaylara müdahale.
Böylece AI Yönetimi şu soruya cevap verir: "Yapay zekânın kuruluşun hedeflerine, geçerli kurallara ve kabul edilebilir risk seviyesine uygun şekilde çalışmasını nasıl sağlarız?"
Bu, AI çalışan bir kişinin kullandığı tek bir araç olmaktan çıkıp iş süreçlerinin bir parçası haline geldiğinde özellikle önem kazanır.
AI Yönetimi inovasyonun frenleyicisi değildir
Yönetimi bürokrasi olarak görmek sık yapılan yanlışlardan biridir.
Böyle bir bakış açısıyla ortaya çıkan kaygı: "Çok fazla kural koyarsak, kimse AI uygulamak istemez."
Oysa kuralların olmayışının da bir bedeli vardır.
Bir şirketi şöyle hayal edelim:
- her çalışan herhangi bir AI aracını kullanabiliyor,
- verilerin hangi modellere gittiği bilinmiyor,
- hangi süreçlerin otomatikleştirildiği belirsiz,
- kullanılan modellerin listesi yok,
- kimse sonuçları izlemiyor,
- hatalardan kimse sorumlu değil.
Başta her şey iyi işler. Ta ki beklenmeyen bir şey olana kadar.
AI Yönetimi AI'yi engellememeli; AI'nin daha güvenli ortamlarda daha hızlı gelişmesini sağlayan çerçeveler oluşturmalıdır.
İyi tasarlanmış bir yönetim şu sorulara yanıt verir:
- ne yapabiliriz,
- ne yapamayız,
- kararları kim alıyor,
- sistemden kim sorumlu,
- riski nasıl izliyoruz,
- bir şey ters giderse ne yapıyoruz.
Bu bir fren değil; bir güvenlik kemeridir.
AI kararından kim sorumlu?
Bu en zor sorulardan biridir.
Diyelim ki bir AI sistemi müşterinin başvurusunu reddetmeyi öneriyor. Bu karardan kim sorumlu? Yazılımcı mı? Model sağlayıcısı mı? Sistemi devreye alan şirket mi? Öneriyi onaylayan kişi mi? Sürecin yöneticisi mi? Yoksa yönetim kurulu mu?
Cevap her zaman basit değildir...
Bu yüzden sorumluluk sistem devreye alınmadan önceden belirlenmelidir, sorun çıktıktan sonra değil.
Pratikte kuruluşun net olarak tanımlaması gerekir:
- sürecin sahibi kim,
- sistemin sahibi kim,
- verilerden kim sorumlu,
- modelden kim sorumlu,
- değişiklikleri kim onaylıyor,
- işleyişi kim izliyor,
- sistemi kim durdurabilir,
- acil durumda kim karar alır.
Karmaşık AI sistemleri için "bunu AI yaptı" demek yeterli değildir.
AI bir iş sürecinin sorumlusu değil; sorumluluk insanlar ve organizasyondadır.
AI Yönetimi envanterle başlar
İlk adımlardan biri, kuruluşta kullanılan AI sistemleri ve uygulamalarının kaydı olan bir AI Envanteri oluşturmaktır.
Basit mi geliyor? Birçok şirkette şaşırtıcı derecede zor olabilir.
Çalışanlar şunları kullanıyor:
- ChatGPT,
- içerik üretme araçları,
- CRM içindeki AI özellikleri,
- doküman analiz araçları,
- yazılımcı asistanları,
- otomasyonlar,
- AI ajanları.
Bunların bazıları resmi olarak şirket tarafından uygulanmış olabilir; bazıları ise çalışanlar tarafından kuruluşun bilgisi dışında kullanılabilir.
Bu olgu genellikle Shadow AI olarak adlandırılır.
Shadow AI - şirket kontrolü dışında çalışan AI
Shadow AI, daha önce bilinen Shadow IT kavramının karşılığıdır. Bir çalışan işini daha hızlı yapmasına yardımcı olan bir araç bulur ve kullanmaya başlar.
Kimse kontrol etmez:
- hangi verilerin gönderildiğini,
- nerede işlendiğini,
- kimin erişimi olduğunu,
- ne kadar süre saklandığını,
- bilgilerin modellerin eğitimi için kullanılıp kullanılmadığını.
Çalışan açısından her şey harika görünebilir; fakat kuruluş açısından ciddi riskler doğurabilir.
Bu yüzden AI kullanımını yasaklamak her zaman iyi bir çözüm değildir. Çok daha iyi bir yaklaşım, net kurallar oluşturmaktır.
Çalışanlar şunları bilmelidir:
- hangi araçları kullanabilecekleri,
- hangi verilerin gönderilmesinin yasak olduğu,
- ne zaman onay gerektiği,
- şirketin hangi çözümleri önerdiği.
Çalışanların AI kullanmayacağını varsaymak yerine, güvenli bir kullanım yolu sunmak daha iyidir.
Veriler - sorumlu AI'nın temeli
Yönetimden bahsederken veriler konusunu atlamak mümkün değil. Sistem çok iyi olabilir.
Ama eğer veriler:
- yanlış,
- güncel değil,
- eksik,
- tutarsız,
- kötü tanımlanmışsa,
sistemin çıktıları da problemli olabilir.
Kuruluşta şunlara dair net kurallar olmalıdır:
- veri kaynakları,
- veri kalitesi,
- erişim,
- saklama,
- retention (saklama süresi),
- silme,
- anonimleştirme,
- pseudonimleştirme,
- veri kullanım kontrolü.
Özellikle kişisel verilerin korunması burada kritik öneme sahiptir.
Şirketin sahip olduğu her bilgi AI modeline gönderilmemelidir.
Gönderilebilse bile şunların bilinmesi gerekir:
- niçin?
- hangi hukuki dayanakla?
- nasıl?
- ne kadar süreyle?
- kimin erişimi var?
Bu nedenle AI projeleri teknoloji, iş, hukuk ve güvenlik ekiplerinin ortak tasarımıyla yürütülmelidir.
AI Act - şirketler neden ilgilenmeli?
Avrupa Birliği'nde yapay zekâ geliştirme aynı zamanda düzenlemelerin konusu.
En önemli örnek, AI Act yani AB'nin yapay zekâ düzenlemesidir. Bu yaklaşımın kilit unsurlarından biri AI sistemlerini risk seviyelerine göre sınıflandırmaktır.
Basitçe söylemek gerekirse şunlardan bahsedebiliriz:
- kabul edilemez risk oluşturan sistemler,
- yüksek riskli sistemler,
- şeffaflık yükümlülüklerine tabi sistemler,
- sınırlı veya minimal riskli sistemler.
Bu, her şirketin büyük bir uyum departmanı kurması gerektiği anlamına gelmez.
Ancak organizasyonların hangi tür AI sistemlerini kullandıklarını ve bunun hangi yükümlülükleri beraberinde getirebileceğini bilmeleri gerekir.
Ayrıca düzenlemelerin sadece modelin kendisini değil, AI'nın nasıl kullanıldığını da kapsadığını unutmamak gerekir.
Aynı model bir ürün açıklaması oluşturmak için de kullanılabilir, insan haklarını etkileyen bir süreci desteklemek için de. Teknoloji aynı olabilir; risk tamamen farklıdır.
Bu nedenle yönetim, öncelikle sistemin kullanım amacını analiz etmelidir, sadece adını veya sağlayıcısını değil.
Açıklanabilir AI - sistemin kararını açıklayabilmesi neden önemli?
AI, iş veya insan üzerinde etkili bir karar veriyorsa, doğal olarak şu soru ortaya çıkar: "Neden?"
Neden sistem işlemi şüpheli kabul etti?
Neden belgeyi reddetti?
Neden belirli bir fiyat önerdi?
Neden müşteriyi belirli bir sürece yönlendirdi?
İşte burada Açıklanabilir AI (XAI) devreye girer. Bu, modelin bir sonuca nasıl ulaştığını anlamaya yardımcı olan yöntem ve yaklaşımların toplamıdır. Her zaman modelin içsel işleyişinin tamamını göstermek anlamına gelmez.
Bazen yeterli olan şunları sunmaktır:
- sonuca etki eden ana faktörler,
- analizde kullanılan veriler,
- güven seviyesi,
- en önemli varsayımlar,
- alternatif senaryolar.
İş kullanıcısı için bu genellikle teknik model açıklamasından daha değerlidir.
Logging - AI sisteminin hafızası
AI karar veriyorsa, kuruluşun neler olduğunu yeniden oluşturabilmesi gerekir. Bu yüzden kayıt (logging) çok önemlidir.
Sistemin türüne bağlı olarak kaydetmek isteyebileceğiniz bilgiler şunlardır:
- işlemin ne zaman yapıldığı,
- hangi modelin kullanıldığı,
- kullanılan model versiyonu,
- kullanılan girdiler,
- üretilen çıktı,
- alınan karar,
- insan onayı olup olmadığı,
- kararın değiştirilip değiştirilmediği,
- değişikliği yapan kişi.
Bu, "Sistemde tam olarak ne oldu?" sorusuna yanıt vermeyi sağlar.
Uygun kayıt olmadan bir olayı analiz etmek çok zor olabilir; otonom sistemlerde neredeyse imkânsız hale gelebilir.
Monitoring - AI "kur ve unut" uygulaması değildir
Bu tüm bulmacanın en önemli parçalarından biridir.
Model devreye alındığı gün doğru çalışabilir; bu, bir yıl sonra da aynı performansı göstereceği anlamına gelmez.
Şunlar değişir:
- veriler,
- kullanıcı davranışları,
- piyasa koşulları,
- ürünler,
- süreçler,
- hukuk.
Ayrıca sistemin kendisinin çalışma biçimi de değişebilir. Bu yüzden sadece teknik altyapıyı değil, karar kalitesini de izlemek gerekir.
Uygulamaya bağlı olarak şunları izlemek faydalıdır:
- doğruluk,
- hata sayısı,
- güven seviyesi,
- insana iletilen kararların oranı,
- insan müdahalelerinin sayısı,
- şikâyet sayısı,
- AI önerisi ile uzman kararı arasındaki tutarsızlık sayısı.
Örneğin insanın AI önerilerini daha önceki %5 yerine aniden %40 oranında reddetmeye başlaması bir değişiklik işareti olabilir.
Model halen çalışıyor olabilir; ama iş açısından kalitesi artık aynı olmayabilir.
Model Drift - dünya modelden daha hızlı değiştiğinde
Önemli problemlerden biri model drift yani verilerde veya modelin çalıştığı çevredeki değişiklikler nedeniyle model performansının bozulmasıdır.
Örnek?
Model son beş yıldaki verilere göre ürün talebini tahmin ediyor.
Aniden tüketici davranışları değişiyor.
Yeni bir trend ortaya çıkıyor.
Ekonomik durum değişiyor.
Model hala geçmiş kalıpları kullanıyor.
Sorun şu ki, gerçeklik artık eskisi gibi değil.
AI değişimi "bilmiyor".
Bu nedenle sistem izlenmeli ve modeller periyodik olarak değerlendirilip gerekirse güncellenmelidir.
Guardrails - AI'nın geçemeyeceği sınırlar
Önceki bölümde guardrails'ten bahsetmiştik. AI Yönetimi bağlamında bunların önemi daha da büyüktür.
Guardrails şunları belirleyebilir:
- AI'nın hangi verileri kullanabileceği,
- hangi eylemleri gerçekleştirebileceği,
- hangi eylemleri yapamayacağı,
- hangi değerleri değiştirebileceği,
- ne zaman insan onayı gerektiği,
- ne zaman sistemin durması gerektiği.
Örneğin bir AI ajanı sipariş sistemine erişebilir; stok kontrolü yapabilir; sipariş hazırlayabilir; ancak 10.000 TL üzerindeki bir satın almayı tek başına onaylayamaz. Limit aşıldığında insan onayına devreder.
Bu, iyi tasarlanmış bir otonomi sınırına örnektir.
Kill Switch - sistemin STOP düğmesi olmalı
Basit geliyor ama son derece önemlidir.
Her otonom sistemin acil durdurma mekanizması olmalıdır.
Eğer:
- model hatalı kararlar üretmeye başlarsa,
- sistem beklenmedik işlemler yaparsa,
- güvenlik olayı oluşursa,
- girdi verileri hatalıysa,
kuruluş sistemin çalışmasını durdurabilmelidir. Hemen! Yarın değil; destek talebiyle beklemek değil.
Mimariye bağlı olarak bu şu anlamlara gelebilir:
- ajanı kapatma,
- araçlara erişimi engelleme,
- iş akışını durdurma,
- manuel moda geçme,
- önceki sürüme geri alma (rollback).
Durdurma imkanı olmayan otonomi çok risklidir.
AI için Olay Müdahalesi
Kuruluşların uzun zamandır sistem arızalarına müdahale prosedürleri vardır.
AI içinse modelin yanlış kararlarına ilişkin senaryoların da hazırlanması gerekir.
Ne yaparız, eğer:
- AI yanlış öneriler üretmeye başlarsa?
- Ajan hatalı eylemler yaparsa?
- Model istenmeyen davranışlar sergilemeye başlarsa?
- Girdi verileri hatalı çıkarsa?
- Sistem belirlenen kuralları ihlal ederse?
Açık bir süreç olmalı: Tespit → durdurma → analiz → düzeltme → geri getirme → izleme
Bu özellikle otonom olarak çalışan sistemlerde hayati önem taşır.
Kuruluşta AI'dan kim sorumlu olmalı?
Tek bir evrensel cevap yoktur.
Şirketin büyüklüğüne bağlı olarak katılanlar şunlar olabilir:
- yönetim,
- CTO,
- CIO,
- CISO,
- hukuk departmanı,
- uyumluluk (compliance),
- Veri Koruma Görevlisi,
- süreç sahipleri,
- BT ekipleri,
- data scientist'ler,
- ML mühendisleri,
- ürün yöneticileri,
- iş kullanıcıları.
Önemli olan, sorumluluğun bulanıklaşmamasıdır.
"AI herkesin ortak sorunu" demek çoğunlukla pratikte: "Kimse sorumlu değil." anlamına gelir.
Bu yüzden her önemli AI girişiminin net bir sahibi olmalıdır.
AI sistemleri için RACI
Klasik RACI modeli iyi bir araç olabilir.
Şunu belirlemeye yardımcı olur:
Responsible - görevi kim yapar?
Accountable - nihai sorumluluk kimde?
Consulted - kimlerle danışılmalı?
Informed - kim bilgilendirilmeli?
Örneğin müşteri hizmetlerine destek veren bir AI sistemi için:
- BT altyapıdan sorumlu,
- veri ekibi verilerden sorumlu,
- süreç sahibi AI kullanım şeklinden sorumlu,
- uyumluluk düzenleyici gereksinimleri değerlendirir,
- iş birimi çözümü onaylar.
Böylece bir sorun çıktığında kimin müdahale etmesi gerektiği bellidir.
Küçük işletmede AI Yönetimi
AI Yönetimi büyük bir komite gerektirmek zorunda değildir.
Küçük bir şirket birkaç basit öğeyle başlayabilir:
1. AI araçları listesi
Ne kullandığımızı bilmek.
2. Veri kuralları
Dış araçlara hangi verilerin gönderilemeyeceğini bilmek.
3. Risk sınıflandırması
Hangi uygulamaların düşük, orta ve yüksek riskli olduğunu belirlemek.
4. AI sorumlusu
Koordinasyon için bir kişi atamak.
5. Human-in-the-Loop kuralları
Hangi kararların insan onayı gerektirdiğini belirlemek.
6. İzleme
Sistemin hâlâ beklendiği gibi çalışıp çalışmadığını kontrol etmek.
Bu bile çok şeydir.
En önemli şey farkındalıktır.
Büyük kuruluşta AI Yönetimi
Büyük şirketlerde durum daha karmaşıktır.
Şunlar gerekebilir:
- AI Yönetim Kurulu,
- model envanteri,
- risk sınıflandırması,
- yeni uygulamaların onay süreci,
- veri politikası,
- model izleme,
- denetimler,
- olay prosedürleri,
- erişim kontrolü,
- AI sağlayıcı yönetimi,
- düzenli gözden geçirmeler.
Büyük kuruluşlarda yönetim mevcut süreçlerle entegre olmalıdır:
- BT Yönetimi,
- Güvenlik Yönetimi,
- Veri Yönetimi,
- Risk Yönetimi,
- Uyumluluk.
AI boşlukta çalışmaz.
Kuruluş yönetim ekosisteminin bir parçası haline gelir.
AI Yönetiminde en sık yapılan hatalar
Hata 1 - Yönetim sadece uygulamadan sonra devreye giriyor
Önce AI'yi devreye alıyoruz.
Daha sonra kim sorumlu diye düşünüyoruz.
Bu sıra yanlış.
Hata 2 - Yönetim sadece bir belge ile sınırlı kalıyor
Bir AI politikası tek başına hiçbir şeyi çözmez.
Eğer kimse onu uygulamıyorsa sadece bir belge olarak kalır.
Hata 3 - Sorumluluk yalnızca BT'ye veriliyor
AI iş, hukuk, güvenlik ve insanların üzerinde etkili olur.
Sadece teknoloji departmanının sorunu olamaz.
Hata 4 - İzleme eksikliği
Model devreye alındı.
Herkes unuttu.
Bir yıl sonra sistem tamamen farklı çalışıyor olabilir.
Hata 5 - AI'yı durdurma imkanı yok
Sistem otonom çalışıyor ama kimse onu hızlıca durduramıyorsa, kuruluş sistem üzerinde kontrol sahibi değildir.
Pratik AI Yönetimi kontrol listesi
Kuruluşta bulunması gerekenler:
☐ kullanılan AI sistemlerinin kaydı,
☐ her önemli sistem için belirlenmiş bir sahibi,
☐ risk seviyesinin sınıflandırılması,
☐ veri kuralları,
☐ AI kullanım politikası,
☐ Shadow AI ile ilgili kurallar,
☐ erişim kontrol mekanizmaları,
☐ sistem işlemlerinin kaydı,
☐ kalite izleme,
☐ olay müdahale prosedürü,
☐ sistemi durdurma imkanı,
☐ Human-in-the-Loop kuralları,
☐ modellerin düzenli gözden geçirilmesi,
☐ düzenleyici gereksinimlerin değerlendirilmesi,
☐ net sorumluluk kuralları.
Çoğu soruya "hayır" cevabı verilmişse, şirket muhtemelen olgun bir AI Yönetimine sahip değildir.
Terimler sözlüğü
AI Yönetimi
Yapay zekânın tasarımı, uygulanması ve kullanımıyla ilgili kurallar, süreçler, sorumluluklar ve kontrol mekanizmalarının toplamı.
Shadow AI
Çalışanların resmi yönetim sürecinin dışında, yetkisiz veya kayıt dışı olarak AI araçlarını kullanması.
AI Envanteri
Kuruluşta kullanılan AI sistemleri, modelleri ve uygulamalarının kaydı.
Model Drift
Modelin performansının, modelin çalıştığı veri veya çevredeki değişiklikler nedeniyle bozulması.
Açıklanabilir AI (XAI)
Model sonuçlarını etkileyen faktörleri daha iyi anlamayı sağlayan yaklaşımlar ve yöntemler.
AI Denetimi
Bir AI sisteminin işleyişi, güvenliği, uyumluluğu, veri kalitesi, riski ve belirli gereksinimleri karşılama durumunun değerlendirilmesi.
Guardrails
AI sisteminin hangi eylemleri yapabileceğini ve yapamayacağını tanımlayan sınırlamalar.
Kill Switch
Acil durumda sistemin hızlıca durdurulmasını veya etkinliğinin sınırlandırılmasını sağlayan mekanizma.
AI Olayı
Bir AI sistemine ilişkin, hatalara, güvenlik ihlallerine, uyumsuzluklara veya istenmeyen sonuçlara yol açabilecek olay.
En önemli sonuç
Human-in-the-Loop bize şunu söylüyor: "İnsanın sürecin bir parçası kalması gerekir."
AI Yönetimi bundan bir adım ileri gider.
Der ki: "Kuruluş bu süreci nasıl kontrol edeceğini bilmelidir."
Bu temel bir farktır.
En gelişmiş AI ajanını kurabiliriz. Ona sistemlere erişim verebiliriz. Planlayıp eylem gerçekleştirmesine izin verebiliriz.
Ama eğer bilmezsek:
- ne yaptığını,
- neden yaptığını,
- kimin sorumlu olduğunu,
- hangi verilerle çalıştığını,
- ne zaman hata yapmaya başladığını,
- nasıl durdurulacağını,
o zaman akıllı bir sistem değil, kontrol edemeyeceğimiz bir sistem oluşturmuş oluruz.
Daha otonom ajanların olduğu bir dünyada kontrol kuruluşlar için en önemli rekabet avantajlarından biri olabilir.
Serinin sonuncu, dördüncü bölümünde ilkelerden mimariye geçeceğiz.
Güvenlik, kontrol ve sorumluluk gözetilerek tasarlanmış bir AI sisteminin nasıl görünebileceğini göstereceğiz - model ve ajandan karar katmanına ve iş kurallarına; iş akışına, izlemeye, insan müdahalesine ve acil mekanizmalara kadar.
Çünkü nihai soru artık şu değil: "Otonom bir AI ajanı inşa edebiliyor muyuz?"
Bugün bunu giderek daha sık yapabiliyoruz.
Soru şu: "Hâlâ kontrolümüz altında tutabildiğimiz bir ajan inşa edebiliyor muyuz?"
