Suverénní AI v produkci: poloviční náklady na tokeny, data doma

Za poslední dva roky postavily stovky podniků slibné AI prototypy tím, že propojily interní dokumenty s veřejnými API modelů AI. Když se však tyto prototypy dostanou na stůl CISO nebo do rozpočtové kontroly CFO, většina z nich se zastaví před produkcí.

Finančním institucím, vládním ministerstvům a velkým obchodním skupinám stojí v cestě dvě tvrdé hranice:

• Data musí zůstat doma. Posílání osobních údajů zákazníků, dvojjazyčných souborů KYC nebo vlastních kvantitativních dat přes AI službu třetí strany porušuje pravidla umístění dat a interní kontroly rizik.

• Náklady rostou s každým uživatelem. Když každý prompt, každá načtená pasáž a každý krok agenta jde do frontier modelu se 70 miliardami parametrů nebo více, měsíční účet roste mnohem rychleji než počet uživatelů.

Suverénní AI, kterou regulátor přijme a rozpočet unese, vyžaduje disciplinované systémové inženýrství, ne chytré prompty. Takto ji stavíme.

1. Soukromá inference, při níž data neodcházejí

Skutečná datová suverenita znamená, že vaše prostředí nic neopouští: ani vaše data, ani telemetrie modelu. Stavíme soukromé GPU clustery pro inferenci, u vás nebo v dedikovaném suverénním cloudovém tenantu. Provozují modely s otevřenými vahami, doladěné na vaši doménu a kvantované pro rychlost, na vysoce výkonných serverech, jako jsou vLLM a TensorRT-LLM. Vaše data zůstávají šifrovaná uvnitř vašeho bezpečnostního perimetru a vaše stávající zásady identity a přístupu (IAM) platí až po jednotlivé řádky ve vektorovém úložišti.

2. Agenti, kteří jednají, ale pod kontrolou

Model, který jen odpovídá na otázky, je vyhledávací pole. Systém, který vykonává práci, potřebuje řízenou schopnost jednat. Stavíme na Model Context Protocol (MCP) a orchestraci agent až agent (A2A), které udržují uvažující model oddělený od vašich základních systémů:

• Agenti používají jen schválené nástroje. Do ERP, API core bankovnictví a datových lakehouse se dostanou pouze přes typované servery MCP s pevnými schématy. Nikdy nedostanou surová databázová hesla ani otevřený příkazový řádek.

• Každý krok se zaznamenává. Každá akce, volání nástroje a načtení se zapíše do protokolu, který nelze změnit. Vysoce rizikové změny, například schválení shody nebo přepsání úvěrového rozhodnutí, se pozastaví, dokud je člověk neschválí kryptografickým podpisem.

3. Token FinOps: plaťte za model, který každý úkol potřebuje

V produkci až 60 % dotazů a compliance kontrol sleduje vzorce, které se opakují. Posílat každý z nich do největšího modelu plýtvá penězi i časem. Naše třístupňová brána snižuje měsíční výdaje na GPU a API o více než polovinu:

• Sémantická cache. Než brána zavolá model, zkontroluje, zda už existuje ověřená odpověď v souladu se zásadami. Opakované otázky se zodpoví za méně než 30 milisekund, téměř bez výpočetních nákladů.

• Směrování podle obtížnosti. Malý klasifikátor posoudí, co každý úkol potřebuje. Rutinní extrakce, klasifikace a překlad jdou do rychlých doladěných modelů se 7 až 8 miliardami parametrů. Těžké uvažující modely řeší jen vícekrokovou práci.

• Kratší prompty. Retrievalová pipeline odstraní opakované šablony dřív, než se prompt sestaví, takže dovnitř jde méně tokenů bez ztráty přesnosti.

Kde začít

Pokud vaše AI práce uvízla mezi bezpečnostními revizemi a nepředvídatelnými účty za cloud, začněte v XSIS Blueprint Studio. Během pouhých 1 až 2 týdnů naši AI a cloudoví architekti zmapují, kde musí vaše data zůstat, otestují směrování modelů na vašich skutečných zátěžích a dodají produkční architekturu s pevným rozsahem.