Souveräne KI im Betrieb: halbe Tokenkosten, Daten im Haus

In den vergangenen zwei Jahren haben Hunderte Unternehmen vielversprechende KI-Prototypen gebaut, indem sie interne Dokumente mit öffentlichen KI-Modell-APIs verbunden haben. Doch wenn diese Prototypen auf den Schreibtisch des CISO oder in die Budgetprüfung des CFO gelangen, stoppen die meisten vor dem Produktivbetrieb.

Für Finanzinstitute, Regierungsministerien und große Handelsgruppen stehen zwei harte Grenzen im Weg:

• Daten müssen im Haus bleiben. Personenbezogene Kundendaten, zweisprachige KYC-Dateien oder proprietäre quantitative Daten durch einen KI-Dienst eines Drittanbieters zu senden, verstößt gegen die Regeln zur Datenresidenz und gegen interne Risikokontrollen.

• Kosten wachsen mit jedem Nutzer. Wenn jeder Prompt, jede abgerufene Passage und jeder Schritt eines Agenten an ein Frontier-Modell mit 70 Milliarden Parametern oder mehr geht, wächst die Monatsrechnung viel schneller als die Zahl der Nutzer.

Souveräne KI, die eine Aufsichtsbehörde akzeptiert und ein Budget tragen kann, verlangt disziplinierte Systemtechnik, nicht clevere Prompts. So bauen wir sie.

1. Private Inferenz, bei der keine Daten das Haus verlassen

Echte Datensouveränität bedeutet, dass nichts Ihre Umgebung verlässt: weder Ihre Daten noch die Telemetrie des Modells. Wir bauen private GPU-Inferenzcluster, in Ihren Räumen oder in einer dedizierten souveränen Cloud-Mandantenumgebung. Sie betreiben Modelle mit offenen Gewichten, auf Ihre Domäne abgestimmt und für Geschwindigkeit quantisiert, auf Serving-Engines mit hohem Durchsatz wie vLLM und TensorRT-LLM. Ihre Daten bleiben verschlüsselt innerhalb Ihres Sicherheitsperimeters, und Ihre bestehenden Richtlinien für Identität und Zugriff (IAM) gelten bis hinunter zu einzelnen Zeilen im Vektorspeicher.

2. Agenten, die handeln, aber unter Kontrolle

Ein Modell, das nur Fragen beantwortet, ist eine Suchleiste. Ein System, das Arbeit ausführt, braucht kontrollierte Handlungsfähigkeit. Wir standardisieren auf das Model Context Protocol (MCP) und die Orchestrierung von Agent zu Agent (A2A), die das Schlussfolgerungsmodell von Ihren Kernsystemen trennen:

• Agenten nutzen nur freigegebene Werkzeuge. Sie erreichen ERPs, Core-Banking-APIs und Data Lakehouses nur über typisierte MCP-Server mit festen Schemata. Sie erhalten niemals rohe Datenbankpasswörter oder eine offene Kommandozeile.

• Jeder Schritt wird aufgezeichnet. Jede Aktion, jeder Werkzeugaufruf und jeder Abruf wird in ein Protokoll geschrieben, das nicht geändert werden kann. Risikoreiche Änderungen, etwa eine Compliance-Freigabe oder die Übersteuerung einer Kreditentscheidung, pausieren, bis eine Person sie mit einer kryptografischen Signatur genehmigt.

3. Token-FinOps: für jede Aufgabe das passende Modell bezahlen

Im Produktivbetrieb folgen bis zu 60 % der Abfragen und Compliance-Prüfungen Mustern, die sich wiederholen. Jede davon an das größte Modell zu schicken, kostet Geld und Zeit. Unser Gateway mit drei Stufen senkt die monatlichen GPU- und API-Kosten um mehr als die Hälfte:

• Ein semantischer Cache. Bevor das Gateway ein Modell aufruft, prüft es, ob eine validierte, richtlinienkonforme Antwort bereits vorliegt. Wiederholte Fragen werden in unter 30 Millisekunden beantwortet, zu fast keinen Rechenkosten.

• Routing nach Schwierigkeit. Ein kleiner Klassifikator beurteilt, was jede Aufgabe braucht. Routineextraktion, Klassifikation und Übersetzung gehen an schnelle, feinabgestimmte Modelle mit 7 bis 8 Milliarden Parametern. Die schweren Schlussfolgerungsmodelle übernehmen nur mehrstufige Arbeit.

• Kürzere Prompts. Die Retrieval-Pipeline entfernt wiederholte Textbausteine, bevor der Prompt gebaut wird, sodass weniger Token hineingehen, ohne Verlust an Genauigkeit.

Wo Sie beginnen

Wenn Ihre KI-Arbeit zwischen Sicherheitsprüfungen und unvorhersehbaren Cloud-Rechnungen feststeckt, beginnen Sie im Blueprint Studio von XSIS. In nur 1 bis 2 Wochen bilden unsere KI- und Cloud-Architekten ab, wo Ihre Daten bleiben müssen, testen das Modell-Routing gegen Ihre echten Arbeitslasten und liefern eine Produktionsarchitektur mit festem Umfang.