Suveræn AI i produktion: halvér tokenudgiften, hold data inde

I løbet af de seneste to år har hundredvis af virksomheder bygget lovende AI-prototyper ved at forbinde interne dokumenter med offentlige AI-model-API’er. Men når prototyperne når CISO’ens bord eller CFO’ens budgetgennemgang, stopper de fleste, før de når produktion.

For finansielle institutioner, ministerier og store erhvervskoncerner står to ufravigelige grænser i vejen:

• Data skal blive hjemme. At sende kunders personoplysninger, tosprogede KYC-filer eller proprietære kvantitative data gennem en tredjeparts AI-tjeneste bryder reglerne om dataplacering og interne risikokontroller.

• Omkostningerne vokser med hver bruger. Når hver prompt, hvert hentet afsnit og hvert skridt, en agent tager, går til en frontiermodel på 70 milliarder parametre eller mere, vokser den månedlige regning meget hurtigere end antallet af brugere.

Suveræn AI, som en regulator accepterer, og som et budget kan bære, kræver disciplineret systemudvikling, ikke smarte prompts. Sådan bygger vi den.

1. Privat inferens, hvor ingen data forlader miljøet

Ægte datasuverænitet betyder, at intet forlader dit miljø: ikke dine data og ikke modellens telemetri. Vi bygger private GPU-inferensklynger på din egen infrastruktur eller i et dedikeret, suverænt cloudmiljø. De kører åbenvægtsmodeller, tilpasset dit domæne og kvantiseret for hastighed, på inferensmotorer med høj gennemstrømning som vLLM og TensorRT-LLM. Dine data forbliver krypterede inden for din sikkerhedsperimeter, og dine eksisterende politikker for identitet og adgang (IAM) gælder helt ned til de enkelte rækker i vektordatabasen.

2. Agenter, der handler, under kontrol

En model, der kun svarer på spørgsmål, er et søgefelt. Et system, der udfører arbejde, har brug for kontrolleret handleevne. Vi standardiserer på Model Context Protocol (MCP) og orkestrering mellem agenter (A2A), som holder ræsonneringsmodellen adskilt fra dine kernesystemer:

• Agenter bruger kun godkendte værktøjer. De har kun adgang til ERP’er, core banking-API’er og datalakehouses gennem typede MCP-servere med faste skemaer. De får aldrig rå databaseadgangskoder eller en åben kommandolinje.

• Hvert skridt registreres. Hver handling, hvert værktøjskald og hver hentning skrives til en uforanderlig log. Ændringer med høj risiko, som en compliance-godkendelse eller en tilsidesættelse af en kreditbeslutning, sættes på pause, indtil en person godkender dem med en kryptografisk signatur.

3. Token-FinOps: betal for den model, hver opgave har brug for

I produktion følger op mod 60 % af forespørgsler og compliancekontroller mønstre, der gentager sig. At sende dem alle til den største model spilder penge og tid. Vores gateway med tre niveauer reducerer den månedlige GPU- og API-udgift med mere end halvdelen:

• En semantisk cache. Før gatewayen kalder en model, kontrollerer den, om der allerede findes et valideret svar, der er i overensstemmelse med politikken. Gentagne spørgsmål besvares på under 30 millisekunder til næsten ingen beregningsomkostning.

• Routing efter sværhedsgrad. En lille klassificeringsmodel vurderer, hvad hver opgave kræver. Rutineudtræk, klassificering og oversættelse går til hurtige, finjusterede modeller på 7 til 8 milliarder parametre. De tunge ræsonneringsmodeller håndterer kun opgaver i flere trin.

• Kortere prompts. Hentningspipelinen fjerner gentaget standardtekst, før prompten bygges, så der går færre tokens ind, uden tab af nøjagtighed.

Sådan kommer du i gang

Hvis dit AI-arbejde sidder fast mellem sikkerhedsgennemgange og uforudsigelige cloudregninger, så begynd i XSIS Blueprint Studio. På blot 1 til 2 uger kortlægger vores AI- og cloudarkitekter, hvor dine data skal blive, tester modelrouting mod dine reelle workloads og leverer en produktionsarkitektur med fast afgrænsning.