本番環境のソブリンAI：トークン費用を半減し、データを内側にとどめる

この二年間、数百の企業が、社内文書を公開AIモデルのAPIにつないで、将来性のあるAIプロトタイプを作ってきました。しかし、そのプロトタイプがCISOの机やCFOの予算審査に届くと、大半は本番前に止まります。

金融機関、政府省庁、大規模な商業グループにとって、二つの厳しい制約が立ちはだかります。

• データは自社内にとどめる必要があります。 顧客の個人データ、二言語のKYCファイル、独自の定量データを、サードパーティのAIサービスに通すことは、データレジデンシーの規則と社内のリスク管理に反します。

• コストは利用者が増えるたびに膨らみます。 すべてのプロンプト、取得されたすべての文章、エージェントのすべてのステップが、700億パラメーター以上のフロンティアモデルに送られると、月額費用は利用者数の増加よりはるかに速く伸びます。

規制当局が受け入れ、予算で支えられるソブリンAIには、巧妙なプロンプトではなく、規律あるシステムズエンジニアリングが必要です。当社の作り方を紹介します。

1. データを外に出さないプライベート推論

真のデータ主権とは、お客様の環境から何も出さないことです。データも、モデルのテレメトリーも出しません。当社は、お客様の施設内または専用のソブリンクラウドテナントに、プライベートGPU推論クラスターを構築します。クラスターは、お客様の領域に合わせて調整し、速度のために量子化したオープンウェイトモデルを、vLLMやTensorRT-LLMなどの高スループットのサービングエンジンで実行します。お客様のデータはセキュリティ境界の内側で暗号化されたまま保たれ、既存のIDおよびアクセスポリシー（IAM）がベクターストアの個々の行にまで適用されます。

2. 統制下で行動するエージェント

質問に答えるだけのモデルは検索バーです。仕事を遂行するシステムには、統制された自律性が必要です。当社はModel Context Protocol（MCP）とエージェント間（A2A）のオーケストレーションを標準とし、推論モデルをお客様の中核システムから切り離します。

• エージェントは承認済みのツールだけを使います。 ERP、勘定系API、データレイクハウスには、固定スキーマを持つ型付きMCPサーバーを通じてのみ到達します。生のデータベースパスワードや、自由に使えるコマンドラインは決して与えられません。

• すべてのステップが記録されます。 各アクション、ツール呼び出し、取得は、変更できないログに書き込まれます。コンプライアンスの承認や与信判断の上書きなど、リスクの高い変更は、人が暗号署名で承認するまで停止します。

3. Token FinOps：タスクに必要なモデルにだけ支払う

本番では、クエリとコンプライアンス検査の最大60%が、繰り返し現れるパターンに従います。そのすべてを最大のモデルに送ることは、費用と時間の無駄です。当社の3層ゲートウェイは、月額のGPUとAPIの費用を半分以上削減します。

• セマンティックキャッシュ。 モデルを呼び出す前に、ゲートウェイは、検証済みでポリシーに適合する回答がすでにあるかを確認します。繰り返しの質問には30ミリ秒未満で、ほとんど計算コストをかけずに答えます。

• 難易度によるルーティング。 小さな分類器が、各タスクに何が必要かを判断します。定型の抽出、分類、翻訳は、70億から80億パラメーターの高速なファインチューニング済みモデルに送られます。重い推論モデルは、複数ステップの作業だけを担当します。

• より短いプロンプト。 検索パイプラインは、プロンプトを組み立てる前に繰り返しの定型文を取り除きます。そのため、精度を落とさずに入力トークンを減らせます。

始め方

お客様のAIの取り組みが、セキュリティレビューと予測できないクラウド費用の間で停滞しているなら、XSIS Blueprint Studioから始めてください。最短で1週間から2週間で、当社のAIとクラウドのアーキテクトが、データをどこにとどめる必要があるかを特定し、実際のワークロードでモデルルーティングを検証し、範囲を固定した本番アーキテクチャを提供します。