1. Vaat edilenler ve güven zafiyeti
Son iki yıldır işletmelerdeki yapay zekâ projelerindeki en büyük soru “model bunu yapabilir mi?” sorusuydu. Bu soru artık geçerliliğini yitiriyor. Ajanlar artık dokümanları okuyor, kayıtları bir araya getiriyor, mizan kaydı taslağı oluşturuyor ve eyleme geçebiliyor. Ajanların becerisi giderek artıyor.
Bu kez ortaya çıkan engel farklı. Konu artık bir beceri sorunu değil, güven sorunu.
Her işletmedeki proje geçişi aynı duvara tosluyor. Ve sorulan soru hep aynı: YZ yanıldığı zaman bunun suçlusu kim? Bir demo gösterim sürecinde buna yanlış bir cevap vermek belki yalnızca merakımızı körükler. Ancak gerçek hesap ödemelerini içeren bir akışta yanlış cevabı vermek; yanlış hesaba para aktarmak, yanlış girilen bir vergi anahtarı ve bir denetçinin altına imzasını attığı yanlış bir kayıt anlamına geliyor. Hatanın bedeli ciddi. Mizana geçmiş binlerce doğru kayıt, gözden kaçmış tek bir yanlış kaydı telafi edemiyor. Tedarikçi ana verisine yanlış VKN girişi, kontrol olmadığından mükerrer fatura kaydı, borçlandırma yerine alacaklandırma olarak kesilen bir fatura gibi örnekler. Hepsi ufak tefek, bahanesi olabilecek ve münferit olarak gözden kaçarak bir işletmenin kapanışında yer alabilecek hatalar. İşletmeler aslında YZ’nin aptalca karar vermesinden korkmuyor, sessizce ve özgüvenli bir şekilde hata yapmasından korkuyor.
Buna karşın işletmeler de akla yatkın olanı yapıyor. Her çıktıda insani bir unsur ile kontrolü sağlıyor. Sonuç olarak YZ’nin vaat ettiği fayda ve üretkenlik buhar olup gidiyor, çünkü her çıktısını bir insanın kontrol etmesi gereken bir ajan, aslında bir destek unsuru olmaktan çok işletmeyi zarara uğratan bir stajyere dönüşüyor. Kaldıraç görevi görmesini hayal ettiğimiz yapay zekâ, çıktısına güven duyulmasını sağlayacağımız bir yöntem bulunamadığı takdirde insanlara zahmet olacaktır.
Bu makale, güven eksikliğini kapatan katman ile ilgili. Daha iyi bir model iddiamız yok ancak modelden bağımsız olarak sistemin kullandığı yapısal unsuru sağlama iddiamız var. Sadece ve sadece her çıktının niçin güvenilir olduğunu gösterebilen sistemler kullanan işletmelerin YZ’nin eyleme geçmesini sağlayabileceğini savunacağız. Bu bir model sorunu değil, mimari sorunu. Sektörün etrafında dolanıp bir türlü çözümleyemediği bu mimarinin aslında bir adı olduğunu göreceğiz.
2. Eksikliği kapatamayan üç cevap
Güven sorununa karşı sektör üç cevapta hemfikir oldu, her biri gerekli ancak hiçbiri eksiği kapatamıyor.
İlk cevap, bağlam. Ajana içinde hareket ettiği dünyaya ait bir bağlam (ontoloji), bir bilgi grafiği ve bir hafıza becerisi ver ki sadece tahmin yürütmek yerine somut gerçekler zemininde hareket edebilsin. Sanayiler ve girişimlere ait ontolojik platformların tezi bu. HiveMQ ontoloji kavramını “ham sanayi verisi ile güvenilir YZ ajanları arasındaki eksik semantik (anlamsal) katman” olarak tanımlıyor. Palantir’in Ontoloji Destekli Üretim süreci, model tek bir kelime bile yazmaya başlamadan nesneleri alır ve arka planda deterministik araçlar çalıştırır. Bu yaklaşımın kendine has bir çalışma biçimi vardır: bir ajanı gerçek, yapılandırılmış bir bağlama oturtmak halüsinasyon görme durumunu ölçülebilir miktarda azaltır, azaltır diyoruz çünkü tamamen ortadan kaldırmaz.
Fakat bir ajanı yapılandırılmış gerçek bir bağlama oturtmak doğru veri üretileceği anlamına gelmez. Mükemmel bir bağlama sahip bir model hala çok özgüvenli bir şekilde yanlış çıktı üretebilir. Birebir doğru satın alma siparişini bulup bu kez sipariş kalemini yanlış eşleyebilir, doğru vergi anahtarını bulup tutarı yine de yanlış hesaplayabilir. Bağlam ajana dünya hakkında bilgi verir. Ancak ürettiği çıktının doğru olduğunu kimse söyleyemez. Ontoloji platformları daha farklı bir soruya çok iyi bir cevap buldu — ajan söz konusu durumu anlıyor mu? — ve doğru anlamanın doğru çıktı üretmeyle sonuçlanacağı varsayımında bulundu. İşletmelere ait iş operasyonlarda bu varsayım yeterince güvenilir değil ve “yeterince güvenilir” ifadesi bir defteri kebir kaydı atıldığında en çok ihtiyaç duyulacak olan ifadedir.
Borçlar hesabında rutin bir üçlü eşleştirme işlemine örnek verelim. Ajan, doğru siparişi ve mal girişini bulur (mükemmel bağlam) ve faturayı hala yanlış kaleme referansla kaydedebilir çünkü siparişe ait iki kalem aynı malzemeyi farklı birim fiyatlarla tutuyor olabilir. Bağlam, tek başına hangi kalemin doğru olduğu bilgisini vermez. Verdiğimiz örnekte veriyi gerçek bir zemine kusursuz bir şekilde oturtmamıza rağmen çıktı yine de yanlış oldu. Yalnızca mal girişi yapılmış miktar ve üzerinde anlaşılmış fiyat üzerinden yapılan bağımsız bir kontrol yanlışlığı yakalayabilir, tabii böyle bir kontrol varsa.
İkinci cevap, kurulum güvenliği. Ajanı bir güvenlik bariyeri ile çevrele, değerlendirmeler yaparak puanla ve gözlemci bir bakış açısıyla takip et. Bu katman aslında büyük dil modeli operatörlerinin yaklaşımını açıklıyor ve ciddiye alınan platformlar bu yaklaşımı kullanıyor: Palantir, her bir işlem için YZ Platform Değerlendirmeleri (AIP Evals) kullanıp işlem anında oluşacak her çıktı için bir yetkilendirme yapıyor. LangSmith, Galileo, Patronus ve bunların muadili birçok YZ platformu, üretilen çıktıları bir denetime tabi tutuyor. Bahsi geçen yöntemleri biz de kullanıyoruz.
Fakat burada yapılan şeye dikkat edelim. Bu değerlendirmeler çevrimdışı olarak yapılıyor; sistemin geçmiş tarihteki bir testte nasıl bir performans sergilediğini gösteriyor, çıktının anlık olarak doğruluğunun kontrolü yapılmıyor. İzlenebilirlik bu durumda arka cam aynası görevi görüyor ve hatayı ancak işlem sonlandıktan sonra bildiriyor. Yukarıda bahsi geçen güvenlik bariyerleri bir filtreleme görevi görüyor, yanlış yapıda gözüken çıktıları engelliyorlar, yeni ortaya çıkan ve sorunsuz görünen çıktıları değil. Yazımızda söz konusu olan hiçbir yaklaşım, güvenlik açığına dair asıl soruya cevap veremiyor: kayıt işlemine geçmeden önce, özellikle şu an üretilmiş olan bu çıktı doğru mu?
Üçüncü cevap, insan gözetimi. İş akışından sorumlu olan bir kişi olsun: ajanın rutin işleri yürütmesine, emin olmadığı durumları işaretlemesine, emin olmadığı çıktıları kontrol için kullanıcı onayına göndermesine ve yapılan düzeltmeleri geri bildirim olarak sisteme göndermesine müsaade edelim ki sistem kendisini zamanla geliştirsin. İş akışına insani unsurları dahil eden platformların temel tezi bu. Güvenlik eksikliğini kapatamayan üç cevap arasından ilk bakışta akla en yatkın geleni ve sağduyulu işletmelerin genelde sarıldığı ilk yaklaşım bu oluyor. Bu yaklaşım aynı zamanda üç cevap arasından gerçeğe en yakın olanı, bu sebeple en önemlisi buradaki açığı görmek. İşletmelerde kullanılan YZ’nin ölçülebilir bir çıktı üretememesi arkasındaki yaygın kanı bu. Tam otomasyon gerçek operasyonlarla bağı koparıyor ve sonuç olarak yanlışları yakalaması için iş akışına insan unsuru yerleştiriliyor.
Ancak burada insan unsurunu devreye sokan şeye dikkatli bakalım. Ajan, emin olmadığı senaryoları kullanıcı kontrolüne gönderiyor, bu da kendinden emin bir tavırla yanılgıya düştüğü konuları gözden kaçırdığı anlamına geliyor. Bu bir ayar çekme sorunu değil, yapısal bir sorun. Modern nöral ağlar sistematik olarak fazla özgüvenli, ürettiği çıktıların ölçülmüş doğruluk oranı ise sahip olduğu özgüvenin gerisinde kalıyor. Böylece bir modelin en emin olduğu çıktı aslında hatalı bir çıktı olabiliyor. Makalede ele aldığımız tehlike, bir çıktının sessizce ve akıcı bir şekilde hatalı olması durumu: kontrolden kaçan bir mükerrer kayıt, kalem eşlemesi yanlış yapılmış bir belgenin kaydı. Yalnızca emin olmadığı senaryolarda destek isteyen bir sistem yapısı gereği bedeli ağır hataları göremez bir haldedir. Ve sürece dahil edilen insan unsuru da veri kaynağına ilişkin bağımsız bir kontrol değil, muhakeme sahibi olan ikinci bir yargıç olur, hatta belgelenmiş bir yargıç: otomatik sistemleri kontrol eden insanlar, otomasyon yanlılığı sergileyerek kendinden emin bir makineye boyun eğiyor ve makinenin hatalarını görmezden geliyor. Bu durum, ne eğitimin ne de uzmanlığın bu etkiyi ortadan kaldırmadığı çalışmalarda da gözlemlenmiştir. Yüz adet doğru kaydı onaylayan bir kişi, yanlış olanı da onaylayacaktır. “Model, düzeltmelerden öğrenir” ifadesi de bu açığı kapatmıyor: hangi çıktıların gerçekten doğru olduğuna karar veren bağımsız bir kontrol olmadığı sürece, geri bildirim yalnızca kuru bir gürültü haline geliyor ve gürültü üzerinden geliştirilen bir model, yanlış yönde gelişir.
Verilen üç cevap aslında birbirine paralel değil, birbiri üstüne binmiş durumda. Bağlam, verilen girdiyi güçlendirir. Güvenlik önlemleri geçmiş kayıtları ve toplamı kontrol eder. Gözetim, modelin şüphe duyduğu şeyleri yakalar, şüphe duymadıklarını yakalayamaz. Ve ajanın ürettiği çıktı ve çıktının kaydedilmesi işlemi arasındaki boşluk alan hala doldurulamaz: veri kaynağına karşılık üretilen çıktı üzerinde, kayıt işleminden önce yapılan bağımsız bir kontrol. Makalede bahsettiğimiz bu boş alan, doğrulama. Ve mevcut durumda neredeyse hiçbir şey bu boşluğu doldurmuyor.
3. Eksik katman: temel işlem olarak doğrulama
Doğrulama, bir çıktıya güven duyulmadan önce kanıtlara dayanan bir hüküm vermek suretiyle, çıktının saha gerçekliğine ve bu gerçekliği yöneten kurallara karşı bağımsız olarak doğrulanmasıdır.
Yukarıdaki cümlede kullanılan her ifadenin bir ağırlığı var. Bağımsız — aynı modelin kendi işini değerlendirmesi değil, ayrı bir mekanizma. Saha gerçekliği — gerçek kaynak verisi, gerçek satın alma siparişi ve gerçek vergi kuralı, insan tercihine veya önceden belirlenmiş bir kıyaslama ölçütüne göre değil. Kaynak veri ile yapılan kontrol, bir çıktının işletme verisi ile tutarlı olduğunu teyit eder; en güçlü kontrol noktası ise aradığı kanıt için bir adım daha öteye gider: depo personelinin girişini yaptığı mal kabul belgesine, bankanın tahsil ettiği ödemeye, karşı tarafın vergi dairesi tarafından tutulan e-faturasına bakar. Bu da daha seyrek görülen, kaynak verinin kendisinin yanlış olduğu yüksek maliyetli senaryoları yakalar. Güven duyulmadan önce — veri üretimi ve eylem arasındaki anda, verilerin raporlandığı bir sonraki çeyrekte değil. Kanıtlara dayanan bir hüküm vermek — başarılı veya başarısız olsun, çalışan spesifik kontroller ve bu kontrollerin çalıştığı spesifik kaynak. Böylece bir insan unsuru veya bir sistem çıktının niçin güvenilir bulunduğunu açıklayabilir.
Aslında bu yeni bir fikir değil, kurumsal tasarımdaki en eski fikirdir. Çift girişli defter tutmak, her işleminin sağlamasını yapar. Kalite testi yapmak bir ürünün tasarımına sadık kalma durumunu teyit eder. Kurumlar, bir çıktıya güvenmek için çıktıyı üreten kişinin genelde haklı olmasının yeterli olmadığını yüzyıllar önce anlamıştır; çıktıya güveni sağlayan şey, çıktıyı gerçek bir veriye karşı teyit eden bağımsız bir kontroldür. İşletmelere ait YZ platformları, güveni sağlamak için büyük modeller ve daha iyi performans kaydı raporlarıyla birlikte ilk yöntemi deneyerek iki yılını harcadı. İşletmeler için cevap her zaman ikinci yoldan geçiyordu.
Ve doğrulama, işlem zincirinin sonuna eklenmiş tek bir halka değildir. Doğrulama, bir sistemin çalıştığı her seviyeyi kapsayan bir boyuttur. Bu çıktı doğru muydu? Bu görev doğru aktöre iletildi mi? Tüm plan sağlam mıydı? Sistemin güvenoyu gerçeklikle uyumlu mu? Bunların hepsi başarısızlık durumunu kendi içinde taşıyan 5 ayrı soru. Bir doğrulama topolojisinden bahsediyoruz, tek tek işaretlenecek onay kutucuklarından değil. Çıktı katmanı, bugün kaynak veriye karşı doğrulamanın yapıldığı ve kuralların çalıştığı yer; daha yüksek seviyeler — vekâlet, kompozisyon, plan ve güven kalibrasyonu — sistem daha fazla özerklik kazandıkça doğrulama öncelikli mimarilerin aşamalı olarak aktifleştirdiği seviyelerdir. Üzerinde durduğumuz nokta yapısaldır: doğrulama en sonda devreye giren bir filtre değil, sistemin etrafında organize edildiği bir şeydir.
Bu makalenin iddiası dar bir kapsamlı ve bağlayıcıdır: doğrulama sonradan eklenen bir özellik değil, mimarinin temel bir parçasıdır. Herhangi bir çıktının kaynağına karşı bağımsız bir kontrolden geçmeden yazılabildiği bir sistem önünde sonunda yanlış bir kayıt atar ve olabildiğince doğru bağlam bilgisi veya izlenebilirlik bu gerçeği değiştiremez.
4. Doğrulamayı çalıştıran şey: yansıtıcı alt tabaka
Doğrulama, mimaride temeli oluşturabilmek için var olabileceği bir alana ihtiyaç duyar, burada mimarinin bağlam platformlarının yapmadığı bir şeyi yapması gerekiyor, kendi kendini modellemek.
Bir ontolojinin neyi modellediğini düşünelim. Operasyon sahasını modeller — tedarikçiler, siparişler, hesap numaraları ve aralarındaki ilişki ağı. Fakat bu sahada eyleme geçen ajanlar ve onların çıktılarını değerlendiren hükümler, modelin dışında kalır. Ajan, sahadaki veriyi okuyan bir tüketici konumundadır; ilgili model tabii ki işin kendisini tanımlar, yapılma biçimini veya doğruluğunu değil.
Doğrulamayı önceliklendiren bir sistem iki şeyi daha modele ekler. İlki, aktörlerdir — arkasında bir işlem kaydı tutan; ister deterministik bir kural, ister bir büyük dil modeli, ister bir insan olsun, çıktı üreten her katılımcı buna dahildir. İkincisi — ki bu gerçekten kendine hastır — hükümlerdir: geçici bir başarı/hata kaydı tutmak yerine sistemin saklayarak üzerinden akıl yürüterek somutlaştırdığı her doğrulama kaydıdır. Model artık saha bilgisine, çalışanlara ve muhakeme becerisine sahiptir. Biz buna yansıtıcı diyoruz: model, üstünde işleyen sürecin kendisini de dahil ediyor.
Burada hassasiyet önemlidir, çünkü gelişmiş platformlar bazı kanıların aksine buna çok daha yakındır. Palantir ajanların her eylemi için verinin versiyonu ve hangi uygulamada alındığı detayına göre uçtan uca bir “karar soyağacı” tutar. Yani asıl ayrım “biz aktörlerimizi modelliyoruz ama onlar bunu yapmıyor” değil — yapıyorlar. Ayrım daha da dar bir alanda ve tüm farkı bu oluşturuyor: doğrulama öncelikli alt katman kararı somutlaştırır. Yalnızca “ajan bu eylemde bulundu ve işlem adımları budur” değil, “bu çıktı kaynak veriye karşı bağımsız olarak kontrol edildi, işte bu da sonuç ve bu sonuç, sistemin üzerinden akıl yürütebileceği kalıcı bir nesne”.
Verilen kararı somutlaştırmak niçin bu kadar önemli? Çünkü bir karar bir kez birinci sınıf bir nesne olduğu zaman daha önce karar verme konusu olan üç şey artık veri konusu olur:
- Veriyi yönlendirebilirsin: bir aktörün güvenle alabileceği şekilde çıktıları gönder, alamayacaklarını da kullanıcı onayına gönder — vekâlet bu sayede içgüdü ile değil, doğrulanmış işlem kaydı temelinde yapılır.
- Veriyi kalibre edebilirsin: “bu aktörün yüksek başarı oranı var mı?” sorusu yerine “kolay senaryolardaki başarı oranı bu aktöre zor konularda güvenme teminatı verir mi?” sorusunu sor. Bu, yalnızca geriye dönük hükümlerin cevaplandırabileceği bir sorudur.
- Veri ile yönetebilirsin: doğrulanmış çıktıları eylem için önkoşul haline getir ki özerklik uyarlama ile değil kanıtlara dayanarak verilsin.
Bu, gerçeğe dayalı olan ve hesap verebilir sistem arasındaki farktır. Gerçeğe dayalı olma durumu girdinin kalitesiyle ilgili. Hesap verirlik ise çıktının bağımsız ve sürdürülebilir bir şekilde değerlendirilmesiyle ilgili; sistem, hükmü hafızasında tutup üzerinden akıl yürütmediği sürece gerçekleşemez. Yansıtmalı alt katman bu kavramları barındıran yerdir.
5. Kazanılan özerklik ve hesap verebilirlik
En baştaki soruya dönelim: yapay zekâ yanıldığında bunun sorumlusu kim? Doğrulama öncelikli, yansıtıcı bir sistemin buna verdiği cevap ne bir insan ne de bir sözdür. Doğrulama kaydı sorumlu, işte kanıt verisi de burada.
Bu, özerklik kavramını yeniden tanımlar. Kurumsal yapay zekâya dair naif model, tek bir butona basılmasıyla “her şeyi insan yapar” cümlesinden “her şeyi yapay zekâ yapar” cümlesine geçiş anlamına geliyor ve her işletme, haklı olarak, bu dönüşümden büyük korku duyuyor çünkü bu geçiş, ellerindeki tek güvenlik önlemini kaldırmak anlamına geliyor. Doğrulamaya dayalı model bu durumu ortadan kaldırıyor ve yerine “kazanılmış” bir şey koyuyor. Bir aktör, belirli bir işin yapıldığı görevdeki doğrulanmış çıktıları biriktirir. Bu doğrulanmış çıktıların sayısının arttığı ölçüde aktörün yetki alanı da genişler – böylece aktör, verdiği kararların tam olarak kapsadığı durumlarda insan müdahalesi olmaksızın hareket edebilir hale gelir. Doğrulanmış çıktıların sayısının azaldığı durumda aktörün yetki alanı da aynı ölçüde kısıtlanır. Özerklik, yalnızca kanıta dayalı olarak, kanıtların kapsadığı işlemler için verilir ve kanıtlar bunu desteklemeyi bıraktığı anda geri alınır. Yetkinin geri alınmasının caydırıcı olabilmesi için kanıt akışının sürmesi gerekir; ancak burada tuzağa düşmeyelim: bir aktör denetimsiz hareket etmeye başladığı anda sinsi hataları yakalayacak olan mekanizma da durur; böylece işler devam ederken aktörün geçmiş performans kaydı yetkinin devredildiği günkü değerinde sabit kalabilir. Sistem, en güvenilir süreçlerin bile küçük ve rastgele bir kısmını tam inceleme altında tutarak bu tuzağı bertaraf eder. İşte bu, bağımsız ve aksini kanıtlayabilecek nitelikteki kanıt akışının asla sıfıra düşmemesini sağlayan bir denetim yapısıdır. Bu sayede, sessizce kötüleşen bir performans kaydı, geçiştirilmek yerine başarısızlıkları bildiren denetim sonuçları üretir.
Önde gelen platformların halihazırda bunun bir versiyonunu uyguladığını açıkça belirtmek gerekiyor. Örneğin Palantir, kuruluşların “hangi güvenilir ve kendini kanıtlamış yapay zekâ süreçlerinin, insan incelemesi olmaksızın eylem döngüsünü otomatik olarak tamamlayabileceğini hassas bir şekilde seçmelerine” fırsat verir ve koşullar geliştikçe bu esnekliği genişletir veya daraltır ve her eylemin tam bir izlenebilirlik geçmişini tutar. Bu iyi bir tasarım, hakkını vermek gerekiyor.
Aradaki fark, yetki alanının neye dayalı olarak verildiğidir. Gözetim ve izlenebilirlik modelinde temel dayanak; biriken güven, insan incelemesi ve gerçekleşen olaylara dair denetim izidir. Doğrulama öncelikli bir modelde ise temel dayanak doğrulama işleminden geçmiş kayıtlardır. Otomatik tamamlama yetkisi, süreç “kendisini kanıtladığı” için değil, çıktıların kaynağa karşı doğrulanmış olması sebebiyle kazanılır. Ve bu doğrulama durduğu an, tamamlama yetkisi ortadan kalkar. Gözetim ve izlenebilirlik size neyin olduğunu söyler. Doğrulama ise eylem gerçekleşmeden önce eylemin doğru olup olmadığını söyler. Her ikisi de (gözetim ve izlenebilirlik + doğrulama) çok değerli fakat sadece bir tanesi çarpışmayı önleyen bir fren görevi görüyor.
Hesap verebilirlik konusuna verilebilecek yapısal cevap budur. Cevap, “bize güvenin, modelimiz çok iyi” veya “bir insan bunu onayladı” değil çünkü yüzlerce doğru kayıt oluşturan kişi yanlış bir kayıt da oluşturacaktır. Fakat sisteminizdeki kayıtlara dokunan her bir çıktı sizin belirlediğiniz kurallara ve kaynak verinize bağımsız bir kontrolden geçer; bu kontroller kaydedilir ve her bir çıktının tam olarak niçin güvenilir olduğunu takip edebilirsiniz.
6. Birleşik etki oluşturan avantaj
Bir de ikincil bir sonuç daha var ve doğrulama katmanını bir özellik olmaktan çıkarıp iş modeline dönüştüren şey bu.
Doğrulanmış her çıktı, yalnızca bir sonuçtan fazlasıdır; aynı zamanda dayanıklı ve sağlam bir kayıttır da: ilgili çıktı, belirlenen kaynak veriye karşı doğrulanmış, belirlenen kurallar çerçevesinde kararlaştırılan bir hükmün sonucudur ve başarısız olduğu durumda, X kişisi tarafından düzeltilmiştir. Sistemi bir sene boyunca kullandığınızda elinizde anlamsız koca bir veri yığını değil, sizin belirlediğiniz kurallar ve verileriniz tarafından şekillenmiş, yapısal halde bulunan doğrulanmış hükümler birikmiş olur.
Bunun ötesi de var. Bir doğrulama başarısız olursa ve çıktıyı bir insan düzeltirse bu silinecek olan bir hata değil; doğrulanmış başka bir saha verisidir ve bu verilerin en değerlisidir çünkü sistemin yanıldığı noktayı tam olarak işaret eder ve doğrunun nasıl olması gerektiğini gösterir. Doğrulama öncelikli bir sistem kendi başarısızlıklarını işaretlenmiş sinyallere dönüştürür. Bağımsız doğrulamaya sahip olmayan bir sistem, düzeltme işleminden öğrenmek bir yana dursun, hangi çıktının hatalı olduğunu dahi güvenilir bir şekilde söyleyemez.
Asıl ayırt edici unsur bu yapıdadır ve yapıyı oluşturan temel unsur, doğrulamadır. Bağımsız doğrulama olmadan bir ajanın çıktılarını biriktiren bir rakip firma aslında kuru gürültü biriktirir: yanlış veya doğru olabilecek, sonradan ayırt edilemeyen ve öğrenmek için bir temel oluşturamayan çıktılardır bunlar. Doğrulama öncelikli bir sistem sinyal biriktirir, ürettiği her bir çıktı sisteme yazılmadan önce kaynak veriye karşı kontrol edilir. Bahsettiğimiz yapılardan birisi değer ürettikçe katlanarak güçlenirken diğeri yerinde sayar; çünkü teyit edilmeyen verinin üzerine koyarak güvenle bir şey inşa edilemez.
Üstüne üstlük doğrulama temelli yapının asıl savunulması gereken kısmı taklit edilemez; ancak bu kısmın neresi olduğu konusunda ihtiyatlı olalım, dikkatli bir okuyucu bunun ne olduğunu hemen fark edecektir. Kaynak belgeler müşteriye aittir ve herhangi birisine verilebilir, veri çekme yöntemleri kopyalanabilir; dolayısıyla bir rakip, sadece bir hafta sonu ayırarak bir senelik çıktıları toplu halde yeniden türetebilir. Ancak yeniden türetemeyeceği şey, doğrulama döngüsünün bu çıktıların üstüne eklediği dış katmandır: hiçbir kaynak sistemde bulunmayan onaylar, düzeltmeler, anlam belirsizliğini giderme işlemleri ve uzman kararları gibi insan eliyle yapılan çözümlemeler, işlem anındaki bağlam, dayanağı olan hükümler ve bu unsurlardan oluşan kalibrasyon. Bunların hiçbiri kaynak veride yer almaz ve tamamının birikmesi, zaman ve konu uzmanlarının dikkatini gerektirir. Bunlar yalnızca sistemde doğrulama yapıldıkça oluşur. Buradaki rekabet avantajı ne modeldir ne de çerçeve yapısıdır (bunlar artık standartlaşmış ve sıradanlaşmış araçlar haline geldi) veya müşterinin haklı olarak mülkiyetinde tuttuğu veriye sahip olmak da değildir. Asıl avantaj, doğrulanmış süreçler üzerinde yürütülen bir operasyonun geçiş maliyetidir. Yani o belirli işletmenin işlerinin doğruluğunun nasıl teyit edildiğine dair birikmiş kayıtlar bütünüdür. Bir rakibin bunu kopyalaması mümkün değildir; gerçek zamanlı olarak yeniden kazanması gerekir. Günümüzde bu kayıtlar, sistemin doğrulama eylemi ve eylem geçmişi devam ettikçe birikir; olgunlaştıkça da sistemin üst katmanlarının üzerinde akıl yürütebileceği ve sorgulanabilir tek bir veri kümesi haline gelir.
7. Neden şimdi
İlk defa üç şey aynı anda doğru hale geldi.
Ajan becerileri, yapay zekâ modellerinin gerçek anlamda kurumsal işleri üstlenebileceği bir noktaya geldi. Bugün öncü bir model yapılandırılmış bir e-faturayı okuyabilir, karşılığı olan satın alma siparişini tespit edebilir, kalemlerini eşleyebilir ve hesap numaralarını belirleyebilir. Bunlar normalde acemi bir muhasebe personelinin tüm öğleden sonrasını alacak işlerdi. Finans veya diğer operasyon birimleri açısından kritik öneme sahip süreçlerde artık darboğazı oluşturan unsur model değil. Hatta model, ironik bir şekilde, kendisine güvenilecek kadar iyi olduğu için risk teşkil edecek bir yetkinliğe ulaşmış durumda.
Denetim kısmı aynı hızda ilerleyemedi. Bir ajanın fatura kaydı oluşturmasını sağlayan beceri aynı zamanda yanlış fatura kaydı oluşturmasına da sebep veriyor. Bunun önüne geçmek için kullanılan, çıktılar oluşmadan önce kaynak veriye karşı doğrulama sistemi ise çıktı üretme becerisinin feci şekilde gerisinde kaldı. Beceri, kontrolün önüne geçti ve aralarındaki mesafe, denetimsiz yapay zekânın verdiği hasarın asıl kaynağı oldu.
Denetleyici çevre, bu açığı bir risk halinden ihtiyaç haline dönüştürdü. Avrupa Birliği Yapay Zekâ Yasası kapsamındaki yüksek risk yükümlülükleri, sektörel denetim rejimleri ve her türlü finans operasyonunun sahip olduğu temel güvene dayalı sorumluluk tek bir talep çerçevesinde birleşti: eğer yapay zekâ herhangi bir çıktıya müdahale ederse niçin her bir çıktının güvenilir olduğunu göstermekle yükümlüyüz. Üstelik bunu toplu bir değerlendirmeyle değil, her bir vaka üzerinde ve işlem gerçekleştikten sonra, görevi hatalı olanı tespit etmek olan birine karşı yapmak gerekiyor. “Model genellikle doğru sonuç verir” ifadesi, düzenleyici bir kurumun veya denetçinin kabul edeceği bir yanıt değildir. Ve giderek artan bir şekilde, yasaların da kabul etmediği bir yanıt haline gelmektedir. Her bir çıktı için bu gerekçelendirmeyi sunamayan bir sistem, yalnızca daha riskli olmakla kalmayıp sıkı denetime tabi alanlarda artık kullanıma sunulamaz bir duruma düşer.
Asıl boşluk, beceri ve denetim arasında ortaya çıkıyor. Bu eksik katmanı (doğrulamanın sistemin temel bir yapı taşı olduğu ve hesap verebilirliğin tasarım aşamasının parçası olduğu bir yapıyı) hayata geçiren her kimse, işletmelerin kör bir şekilde hareket etmeye mahkum olmadan yapay zekâyı kullanabilmesini sağlayacak çözümü sunmuş olacaktır. Bu fırsat şu anda mevcuttur ve bu fırsatı değerlendirecek olan şey tekil bir model değil, bütüncül bir mimari olacaktır.
8. Birge
Birge, yukarıda bahsi geçen katmanı oluşturuyor.
Birge nedir? Yapay zekâyı kurumsal uygulamalara gömülü hale getiren (SAP ile başlayarak), herhangi bir çıktı üretilmeden önce bunu kaynak veriler ve iş kurallarına göre doğrulayan bir sistemdir. İşletmenizi sıfırdan aktardığınız bir sistemden ziyade halihazırda çalışan sistemlerinizin üzerine eklenen bir doğrulama katmanıdır.
Bugün inşa edilenler şunlardır: Gelen bir e-faturayı girişe hazır bir SAP kaydına dönüştüren bir sistem; mekanik veri çıkartması, ana veri taramaları, iki adımlı satın alma siparişi eşlemesi, her bir veri taslağını kaynağına göre kontrol edip ilk başarısızlıkta işlemi sonlandıran ve 4 adet doğrulayıcıdan oluşan bir doğrulama katmanı; kayıt işlemlerini hazır hale getiren, doğrulayıcı sonuçlarına göre kontrol eden ve her kararın arkasında imzalı bir işlem günlüğüyle kullanıcı onayı için sıraya alan bir yazma kapısı; aynı motorun farklı operasyonlara hizmet edebilmesi için müşteriye özel kuralları, şemaları ve stratejileri içeren özel sistem yapılandırması. Bu, gerçek ve eşleştirmesi tamamlanmış e-fatura ve ERP verileriyle çalışan doğrulama topolojisinin çıktı seviyesidir.
Tasarlanan ancak ileri bir tarihe ertelenenler: Topolojinin üst seviyeleri; doğrulanmış vekâlet, kompozisyon, planlama tutarlılığı ve güven kalibrasyonu, biriktirilen onaylı kayıtların sorgu atılabilen tek bir yapıda somutlaştırılması ve üst seviyedeki ajanların bunun üzerinden mantıksal çıkarımlar yapması; farklı sistemler ve müşteriler arasında mutabakat süreçleri. Bunlar, bugünün çalışan kodu değil; mimarinin aşamalı olarak devreye alınma adımlarıdır ve tasarım aşamasında olan şey ile gerçekten tamamlanmış olan şey arasındaki farkın bilincindeyiz.
Nasıl kullanıldığı: Tam bir platform olarak, başka bir orkestrator tarafından çağrılan bir doğrulama altyapısı olarak veya parçalı bir sistem yapısını kapsayan, ERP’ler arası bir doğrulama katmanı olarak kullanılabilir.
İddia basit. Yapay zekânın eyleme geçmesine gerçekten izin verecek olan kurumlar; her bir çıktının niçin güvenilir olduğunu sisteminde gösterebilenler olacak. Bu bir model problemi değil, mimari problemi. Mimari ise doğrulama anlamına geliyor: bağımsız, çıktı üretilmeden önce hareket eden, kendi hükümlerini verip otorite kazanabilecek kadar özeleştiri yapabilen bir yapı.
Eksik olan katman işte bu. Ve biz, bunu inşa ediyoruz.