AI berdaulat di produksi: token separuh, data tetap di dalam

Selama dua tahun terakhir, ratusan perusahaan membangun prototipe AI yang menjanjikan dengan menghubungkan dokumen internal ke API model AI publik. Namun ketika prototipe itu sampai ke meja CISO atau tinjauan anggaran CFO, sebagian besar berhenti sebelum produksi.

Bagi lembaga keuangan, kementerian, dan grup komersial besar, ada dua batas keras yang menghalangi:

• Data harus tetap di dalam. Mengirim data pribadi pelanggan, berkas KYC dua bahasa, atau data kuantitatif milik sendiri melalui layanan AI pihak ketiga melanggar aturan residensi data dan kendali risiko internal.

• Biaya tumbuh seiring setiap pengguna. Ketika setiap prompt, setiap bagian yang diambil, dan setiap langkah agen dikirim ke model frontier dengan 70 miliar parameter atau lebih, tagihan bulanan tumbuh jauh lebih cepat daripada jumlah pengguna.

AI berdaulat yang diterima regulator dan terjangkau anggaran membutuhkan rekayasa sistem yang disiplin, bukan prompt yang cerdik. Berikut cara kami membangunnya.

1. Inferensi privat, tanpa data keluar

Kedaulatan data sejati berarti tidak ada yang keluar dari lingkungan Anda: bukan data Anda, dan bukan telemetri model. Kami membangun klaster inferensi GPU privat, di lokasi Anda atau di tenancy cloud berdaulat khusus. Klaster menjalankan model berbobot terbuka, disesuaikan untuk domain Anda dan dikuantisasi untuk kecepatan, pada mesin penyajian dengan throughput tinggi seperti vLLM dan TensorRT-LLM. Data Anda tetap terenkripsi di dalam perimeter keamanan, dan kebijakan identitas serta akses (IAM) yang ada berlaku hingga baris individual di penyimpanan vektor.

2. Agen yang bertindak, di bawah kendali

Model yang hanya menjawab pertanyaan adalah bilah pencarian. Sistem yang menjalankan pekerjaan membutuhkan kemampuan bertindak yang terkendali. Kami membakukan Model Context Protocol (MCP) dan orkestrasi agen ke agen (A2A), yang memisahkan model penalaran dari sistem inti Anda:

• Agen hanya memakai alat yang disetujui. Agen menjangkau ERP, API core banking, dan lakehouse data hanya melalui server MCP bertipe dengan skema tetap. Agen tidak pernah menerima kata sandi basis data mentah atau baris perintah terbuka.

• Setiap langkah tercatat. Setiap tindakan, panggilan alat, dan pengambilan ditulis ke log yang tidak dapat diubah. Perubahan berisiko tinggi, seperti persetujuan kepatuhan atau pengesampingan keputusan kredit, berhenti sampai seseorang menyetujuinya dengan tanda tangan kriptografis.

3. Token FinOps: bayar untuk model yang dibutuhkan setiap tugas

Di produksi, hingga 60% kueri dan pemeriksaan kepatuhan mengikuti pola yang berulang. Mengirim semuanya ke model terbesar membuang uang dan waktu. Gateway tiga tingkat kami memotong belanja GPU dan API bulanan lebih dari separuh:

• Cache semantik. Sebelum memanggil model, gateway memeriksa apakah sudah ada jawaban tervalidasi yang sesuai kebijakan. Pertanyaan berulang dijawab dalam waktu kurang dari 30 milidetik, hampir tanpa biaya komputasi.

• Perutean berdasarkan tingkat kesulitan. Pengklasifikasi kecil menilai kebutuhan setiap tugas. Ekstraksi rutin, klasifikasi, dan penerjemahan dikirim ke model cepat berparameter 7 hingga 8 miliar yang telah disempurnakan. Model penalaran berat hanya menangani pekerjaan yang terdiri dari banyak langkah.

• Prompt yang lebih pendek. Pipeline pengambilan menghapus teks berulang sebelum prompt dibangun, sehingga token yang masuk lebih sedikit tanpa kehilangan akurasi.

Dari mana memulai

Jika pekerjaan AI Anda tertahan di antara tinjauan keamanan dan tagihan cloud yang tidak terduga, mulailah di XSIS Blueprint Studio. Dalam waktu sesingkat 1 hingga 2 minggu, arsitek AI dan cloud kami memetakan tempat data Anda harus tetap berada, menguji perutean model terhadap beban kerja nyata Anda, dan menyerahkan arsitektur produksi dengan lingkup tetap.