Soevereine AI in productie: halve tokenkosten, data binnen

In de afgelopen twee jaar bouwden honderden ondernemingen veelbelovende AI-prototypes door interne documenten te verbinden met publieke AI-model-API’s. Maar wanneer die prototypes op het bureau van de CISO of in de budgetronde van de CFO belanden, stoppen de meeste voor productie.

Voor financiële instellingen, ministeries en grote commerciële groepen staan twee harde grenzen in de weg:

• Data moet thuisblijven. Persoonsgegevens van klanten, tweetalige KYC-bestanden of eigen kwantitatieve data via een AI-dienst van een derde partij versturen, schendt regels voor dataresidentie en interne risicobeheersing.

• Kosten groeien met elke gebruiker. Wanneer elke prompt, elke opgehaalde passage en elke stap van een agent naar een frontiermodel met 70 miljard parameters of meer gaat, groeit de maandrekening veel sneller dan het aantal gebruikers.

Soevereine AI die een toezichthouder accepteert en een budget kan dragen, vraagt om gedisciplineerde systeemtechniek, niet om slimme prompts. Zo bouwen wij haar.

1. Private inferentie, zonder dat er data naar buiten gaat

Echte datasoevereiniteit betekent dat niets uw omgeving verlaat: niet uw data en niet de telemetrie van het model. Wij bouwen private GPU-inferentieclusters, op uw locatie of in een toegewijde soevereine cloudtenancy. Zij draaien open-weightmodellen, afgestemd op uw domein en gequantiseerd voor snelheid, op hoogdoorvoer-engines zoals vLLM en TensorRT-LLM. Uw data blijft versleuteld binnen uw beveiligingsperimeter, en uw bestaande beleid voor identiteit en toegang (IAM) geldt tot op individuele rijen in de vectoropslag.

2. Agenten die handelen, onder controle

Een model dat alleen vragen beantwoordt, is een zoekbalk. Een systeem dat werk uitvoert, heeft gecontroleerde handelingsruimte nodig. Wij standaardiseren op het Model Context Protocol (MCP) en orkestratie van agent tot agent (A2A), die het redeneermodel gescheiden houden van uw kernsystemen:

• Agenten gebruiken alleen goedgekeurde hulpmiddelen. Zij bereiken ERP’s, corebanking-API’s en datalakehouses alleen via getypeerde MCP-servers met vaste schema’s. Zij krijgen nooit ruwe databasewachtwoorden of een open opdrachtregel.

• Elke stap wordt vastgelegd. Elke actie, elke aanroep van een hulpmiddel en elke ophaalactie wordt geschreven naar een log dat niet kan worden gewijzigd. Risicovolle wijzigingen, zoals een compliancegoedkeuring of het overrulen van een kredietbeslissing, pauzeren tot een persoon ze met een cryptografische handtekening goedkeurt.

3. Token-FinOps: betaal voor het model dat elke taak nodig heeft

In productie volgen tot 60% van de vragen en compliancecontroles patronen die zich herhalen. Ze allemaal naar het grootste model sturen kost geld en tijd. Onze gateway met drie lagen verlaagt de maandelijkse GPU- en API-kosten met meer dan de helft:

• Een semantische cache. Voordat de gateway een model aanroept, controleert zij of een gevalideerd, beleidsconform antwoord al bestaat. Herhaalde vragen worden in minder dan 30 milliseconden beantwoord, tegen vrijwel geen rekenkosten.

• Routering op moeilijkheid. Een kleine classificator beoordeelt wat elke taak nodig heeft. Routinematige extractie, classificatie en vertaling gaan naar snelle, fijnafgestelde modellen van 7 tot 8 miljard parameters. De zware redeneermodellen doen alleen werk in meerdere stappen.

• Kortere prompts. De retrievalpijplijn verwijdert herhaalde standaardtekst voordat de prompt wordt gebouwd, zodat er minder tokens in gaan, zonder verlies van nauwkeurigheid.

Waar u begint

Als uw AI-werk vastzit tussen beveiligingsreviews en onvoorspelbare cloudrekeningen, begin dan in de Blueprint Studio van XSIS. In slechts 1 tot 2 weken brengen onze AI- en cloudarchitecten in kaart waar uw data moet blijven, testen zij modelroutering tegen uw echte werklasten en leveren zij een productiearchitectuur met vaste scope.