Suverän AI i produktion: halva tokenkostnaden, datan kvar inne

Under de senaste två åren har hundratals företag byggt lovande AI-prototyper genom att koppla interna dokument till API-gränssnitten för publika AI-modeller. Men när prototyperna når säkerhetschefens skrivbord eller finanschefens budgetgenomgång stannar de flesta före produktion.

För finansinstitutioner, ministerier och stora kommersiella koncerner står två hårda gränser i vägen:

• Datan måste stanna hemma. Att skicka kunders personuppgifter, tvåspråkiga KYC-filer eller proprietär kvantitativ data genom en AI-tjänst från tredje part bryter mot regler för datalokalisering och interna riskkontroller.

• Kostnaderna växer med varje användare. När varje prompt, varje hämtat stycke och varje steg en agent tar går till en avancerad modell med 70 miljarder parametrar eller mer, växer månadsräkningen mycket snabbare än antalet användare.

Suverän AI som en tillsynsmyndighet accepterar och en budget klarar kräver disciplinerad systemutveckling, inte påhittiga prompter. Så här bygger vi den.

1. Privat inferens, utan att data lämnar miljön

Verklig datasuveränitet betyder att inget lämnar din miljö: inte din data och inte modellens telemetri. Vi bygger privata GPU-kluster för inferens, hos dig eller i en dedikerad suverän molnmiljö. De kör modeller med öppna vikter, anpassade till din domän och kvantiserade för hastighet, på inferensmotorer med hög genomströmning som vLLM och TensorRT-LLM. Din data förblir krypterad innanför din säkerhetsperimeter, och dina befintliga principer för identitet och åtkomst (IAM) gäller ända ned till enskilda rader i vektorlagret.

2. Agenter som agerar, under kontroll

En modell som bara svarar på frågor är ett sökfält. Ett system som utför arbete behöver kontrollerat agentskap. Vi använder Model Context Protocol (MCP) och orkestrering mellan agenter (A2A) som standard, vilket håller resonemangsmodellen åtskild från dina kärnsystem:

• Agenterna använder bara godkända verktyg. De når ERP-system, kärnbankens API-gränssnitt och data lakehouse endast via typade MCP-servrar med fasta scheman. De får aldrig råa databaslösenord eller en öppen kommandorad.

• Varje steg registreras. Varje åtgärd, verktygsanrop och hämtning skrivs till en logg som inte kan ändras. Ändringar med hög risk, som ett regelefterlevnadsgodkännande eller ett åsidosättande av ett kreditbeslut, pausar tills en person godkänner dem med en kryptografisk signatur.

3. FinOps för tokens: betala för den modell varje uppgift behöver

I produktion följer upp till 60 % av frågorna och regelefterlevnadskontrollerna mönster som upprepas. Att skicka varje sådan fråga till den största modellen slösar pengar och tid. Vår gateway med tre nivåer sänker den månatliga kostnaden för GPU och API med mer än hälften:

• En semantisk cache. Innan en modell anropas kontrollerar gatewayen om ett validerat och regelkonformt svar redan finns. Upprepade frågor besvaras på under 30 millisekunder, nästan utan beräkningskostnad.

• Routing efter svårighetsgrad. En liten klassificerare bedömer vad varje uppgift behöver. Rutinmässig utvinning, klassificering och översättning går till snabba, finjusterade modeller med 7 till 8 miljarder parametrar. De tunga resonemangsmodellerna hanterar bara arbete i flera steg.

• Kortare prompter. Hämtningsflödet tar bort upprepad standardtext innan prompten byggs, så färre tokens går in, utan att träffsäkerheten försämras.

Var ska vi börja?

Om AI-arbetet sitter fast mellan säkerhetsgranskningar och oförutsägbara molnfakturor, börja i XSIS Blueprint Studio. På så lite som 1 till 2 veckor kartlägger våra AI- och molnarkitekter var din data måste stanna, testar modellrouting mot dina verkliga arbetslaster och levererar en produktionsarkitektur med fast omfattning.