IA sovrana in produzione: metà dei token, dati dentro

Negli ultimi due anni, centinaia di imprese hanno creato prototipi IA promettenti collegando documenti interni ad API pubbliche di modelli IA. Eppure, quando quei prototipi arrivano sulla scrivania del CISO o nella revisione di budget del CFO, la maggior parte si ferma prima della produzione.

Per istituzioni finanziarie, ministeri e grandi gruppi commerciali, due limiti rigidi sono d’ostacolo:

• I dati devono restare in casa. Inviare dati personali dei clienti, file KYC bilingui o dati quantitativi proprietari attraverso un servizio IA di terze parti viola le regole di residenza dei dati e i controlli interni del rischio.

• I costi crescono con ogni utente. Quando ogni prompt, ogni passaggio recuperato e ogni passo di un agente passa da un modello di frontiera di 70 miliardi di parametri o più, la bolletta mensile cresce molto più in fretta del numero di utenti.

Un’IA sovrana che un regolatore accetta e un budget può sostenere richiede ingegneria dei sistemi disciplinata, non prompt ingegnosi. Ecco come la costruiamo.

1. Inferenza privata, senza dati in uscita

Vera sovranità dei dati significa che nulla esce dal Suo ambiente: né i Suoi dati, né la telemetria del modello. Costruiamo cluster privati di inferenza GPU, nei Suoi locali o in un ambiente dedicato di cloud sovrano. Eseguono modelli a pesi aperti, ottimizzati per il Suo dominio e quantizzati per la velocità, su motori di servizio ad alto throughput come vLLM e TensorRT-LLM. I Suoi dati restano cifrati nel Suo perimetro di sicurezza, e le politiche esistenti di identità e accesso (IAM) si applicano fino alle singole righe dell’archivio vettoriale.

2. Agenti che agiscono, sotto controllo

Un modello che risponde solo a domande è una barra di ricerca. Un sistema che svolge lavoro ha bisogno di una capacità di azione controllata. Adottiamo come standard il Model Context Protocol (MCP) e l’orchestrazione agente-ad-agente (A2A), che tengono il modello di ragionamento separato dai Suoi sistemi centrali:

• Gli agenti usano solo strumenti approvati. Raggiungono ERP, API di core banking e data lakehouse solo tramite server MCP tipizzati con schemi fissi. Non ricevono mai password grezze dei database né una riga di comando aperta.

• Ogni passo viene registrato. Ogni azione, ogni chiamata a uno strumento e ogni recupero vengono scritti in un registro immutabile. Le modifiche ad alto rischio, come un’approvazione di conformità o la modifica di una decisione di credito, si fermano finché una persona non le approva con una firma crittografica.

3. Token FinOps: pagare il modello che serve a ogni attività

In produzione, fino al 60 % delle query e dei controlli di conformità seguono schemi che si ripetono. Inviarli tutti al modello più grande spreca denaro e tempo. Il nostro gateway a tre livelli dimezza e oltre la spesa mensile di GPU e API:

• Una cache semantica. Prima di chiamare un modello, il gateway controlla se esiste già una risposta validata e conforme alle politiche. Le domande ripetute ricevono risposta in meno di 30 millisecondi, quasi senza costo di calcolo.

• Instradamento per difficoltà. Un piccolo classificatore valuta ciò che serve a ogni attività. Estrazione, classificazione e traduzione di routine vanno a modelli rapidi e ottimizzati da 7 a 8 miliardi di parametri. I modelli di ragionamento pesante gestiscono solo il lavoro a più passi.

• Prompt più brevi. La pipeline di recupero elimina il testo ripetitivo prima di costruire il prompt, così entrano meno token, senza perdita di accuratezza.

Da dove iniziare

Se il Suo lavoro sull’IA è bloccato tra revisioni di sicurezza e bollette cloud imprevedibili, parta dal Blueprint Studio di XSIS. In appena 1 o 2 settimane, i nostri architetti IA e cloud mappano dove devono restare i Suoi dati, provano l’instradamento dei modelli sui Suoi carichi reali e consegnano un’architettura di produzione con ambito fisso.