Üretimde egemen YZ: token maliyeti yarıya, veriler içeride

Son iki yılda yüzlerce kurum, iç belgeleri herkese açık yapay zekâ (YZ) modeli API’lerine bağlayarak umut verici prototipler kurdu. Ancak bu prototipler CISO’nun masasına veya CFO’nun bütçe incelemesine geldiğinde çoğu üretime geçmeden duruyor.

Finans kuruluşları, hükümet bakanlıkları ve büyük ticaret grupları için iki sert sınır var:

• Veriler evde kalmalı. Müşterilerin kişisel verilerini, iki dilli KYC dosyalarını veya şirkete ait nicel verileri üçüncü taraf bir YZ hizmetinden geçirmek, veri ikametgâhı kurallarını ve iç risk kontrollerini ihlal eder.

• Maliyet her kullanıcıyla artıyor. Her istem, her getirilen pasaj ve ajanın her adımı 70 milyar parametreli veya daha büyük bir öncü modele gittiğinde aylık fatura, kullanıcı sayısından çok daha hızlı büyür.

Bir düzenleyicinin kabul ettiği ve bütçenin taşıyabildiği egemen YZ, akıllı istemler değil disiplinli sistem mühendisliği ister. İşte nasıl inşa ediyoruz.

1. Veriler içeride kalarak özel çıkarım

Gerçek veri egemenliği, ortamınızdan hiçbir şeyin çıkmaması demektir: ne veriler ne de model telemetrisi. Yerinde veya özel bir egemen bulut kiralamasında özel GPU çıkarım kümeleri kuruyoruz. Üzerinde açık ağırlıklı, alanınıza göre ince ayarlanmış ve hız için nicemlenmiş modeller, vLLM ve TensorRT-LLM gibi yüksek verimli model sunum motorlarında çalışır. Veriler güvenlik çevrenizde şifreli kalır ve mevcut kimlik ve erişim (IAM) politikaları vektör deposunun tek tek satırlarına kadar uygulanır.

2. Kontrol altında hareket eden ajanlar

Yalnızca soruları yanıtlayan bir model bir arama çubuğudur. İş yapan bir sistemin kontrollü hareket yeteneğine ihtiyacı vardır. Akıl yürütme modelini temel sistemlerinizden ayrı tutan Model Context Protocol (MCP) ve ajandan ajana (A2A) orkestrasyonunda standartlaşıyoruz:

• Ajanlar yalnızca onaylı araçları kullanır. ERP’lere, core banking API’lerine ve veri depolarına yalnızca sabit şemalı, tipli MCP sunucuları üzerinden erişirler. Asla ham veritabanı parolaları veya açık bir komut satırı almazlar.

• Her adım kaydedilir. Her eylem, araç çağrısı ve getirim değiştirilemeyen bir günlüğe yazılır. Uyum onayı veya geçersiz kılınan bir kredi kararı gibi yüksek riskli değişiklikler, bir kişi kriptografik imzayla onaylayana kadar durur.

3. Token FinOps: her görevin ihtiyaç duyduğu modelin parasını ödeyin

Üretimde sorguların ve uyum kontrollerinin %60’a kadarı tekrar eden kalıpları izler. Hepsini en büyük modele göndermek para ve zaman kaybettirir. Üç katmanlı geçidimiz aylık GPU ve API harcamasını yarıdan fazla azaltır:

• Anlamsal önbellek. Bir modeli çağırmadan önce geçit, politikaya uygun ve doğrulanmış bir yanıtın zaten var olup olmadığını kontrol eder. Tekrar eden sorular 30 milisaniyenin altında, neredeyse hiç hesaplama maliyeti olmadan yanıtlanır.

• Zorluğa göre yönlendirme. Küçük bir sınıflandırıcı her görevin neye ihtiyacı olduğunu değerlendirir. Rutin çıkarım, sınıflandırma ve çeviri 7 ila 8 milyar parametreli hızlı, ince ayarlı modellere gider. Ağır akıl yürütme modelleri yalnızca çok adımlı işi üstlenir.

• Daha kısa istemler. Getirim hattı, istem kurulmadan önce tekrar eden metni çıkarır; böylece doğruluk kaybı olmadan daha az token girer.

Nereden başlamalı

YZ çalışmanız güvenlik incelemeleri ile öngörülemeyen bulut faturaları arasında sıkıştıysa XSIS Blueprint Studio’dan başlayın. Yalnızca 1 ila 2 hafta içinde YZ ve bulut mimarlarımız verilerin nerede kalması gerektiğini haritalar, model yönlendirmesini gerçek görevlerde test eder ve hedefi net bir üretim mimarisi teslim eder.