Suveren KI i produksjon: halver tokenkostnaden, behold dataene

De siste to årene har hundrevis av virksomheter bygget lovende KI-prototyper ved å koble interne dokumenter til offentlige API-er for KI-modeller. Men når prototypene når CISO-ens skrivebord eller CFO-ens budsjettgjennomgang, stopper de fleste før produksjon.

For finansinstitusjoner, departementer og store kommersielle konsern står to harde grenser i veien:

• Data må bli hjemme. Å sende personopplysninger om kunder, tospråklige KYC-filer eller egne kvantitative data gjennom en tredjeparts KI-tjeneste bryter regler for datalokalisering og interne risikokontroller.

• Kostnadene vokser med hver bruker. Når hver prompt, hvert gjenfunnede avsnitt og hvert steg en agent tar går til en frontiermodell på 70 milliarder parametere eller mer, vokser den månedlige regningen mye raskere enn antallet brukere.

Suveren KI som en tilsynsmyndighet godtar og et budsjett kan bære, krever disiplinert systemutvikling, ikke smarte prompter. Slik bygger vi det.

1. Privat inferens, uten at data forlater miljøet

Ekte datasuverenitet betyr at ingenting forlater miljøet ditt: verken dataene dine eller modellens telemetri. Vi bygger private GPU-klynger for inferens, lokalt installert hos deg eller i en dedikert suveren skyleie. De kjører åpne modeller med åpne vekter, tilpasset domenet ditt og kvantisert for hastighet, på inferensservere med høy gjennomstrømning som vLLM og TensorRT-LLM. Dataene dine forblir kryptert innenfor sikkerhetsperimeteret ditt, og dine eksisterende retningslinjer for identitet og tilgang (IAM) gjelder helt ned til enkeltrader i vektordatabasen.

2. Agenter som handler, under kontroll

En modell som bare svarer på spørsmål, er et søkefelt. Et system som utfører arbeid, trenger kontrollert handlekraft. Vi standardiserer på Model Context Protocol (MCP) og orkestrering mellom agenter (A2A), som holder resonneringsmodellen atskilt fra kjernesystemene dine:

• Agenter bruker bare godkjente verktøy. De når ERP-er, API-er for kjernebank og data lakehouse bare gjennom typede MCP-servere med faste skjemaer. De får aldri råe databasepassord eller en åpen kommandolinje.

• Hvert steg registreres. Hver handling, hvert verktøykall og hver gjenfinning skrives til en logg som ikke kan endres. Endringer med høy risiko, som en godkjenning fra etterlevelse eller en overstyring av en kredittbeslutning, settes på pause til en person godkjenner dem med en kryptografisk signatur.

3. Token-FinOps: betal for modellen hver oppgave trenger

I produksjon følger opptil 60 % av spørringene og etterlevelseskontrollene mønstre som gjentar seg. Å sende hver eneste av dem til den største modellen sløser med penger og tid. Vår gateway med tre nivåer halverer den månedlige GPU- og API-kostnaden med god margin:

• Semantisk hurtiglagring. Før gatewayen kaller en modell, sjekker den om det allerede finnes et validert svar som er i samsvar med retningslinjene. Gjentatte spørsmål besvares på under 30 millisekunder, til nesten ingen beregningskostnad.

• Ruting etter vanskelighetsgrad. En liten klassifiseringsmodell vurderer hva hver oppgave trenger. Rutinemessig uttrekk, klassifisering og oversettelse går til raske, finjusterte modeller på 7 til 8 milliarder parametere. De tunge resonneringsmodellene håndterer bare arbeid i flere steg.

• Kortere prompter. Gjenfinningspipelinen fjerner gjentatt standardtekst før prompten bygges, slik at færre tokens går inn, uten tap av nøyaktighet.

Hvor du bør begynne

Hvis KI-arbeidet ditt sitter fast mellom sikkerhetsgjennomganger og uforutsigbare skyregninger, start i XSIS Blueprint Studio. På bare 1 til 2 uker kartlegger våre KI- og skyarkitekter hvor dataene dine må ligge, tester modellruting mot dine reelle arbeidsbelastninger og leverer en produksjonsarkitektur med fast omfang.