IA soberana em produção: metade dos tokens, dados dentro

Nos últimos dois anos, centenas de empresas criaram protótipos de IA promissores ao ligar documentos internos a API públicas de modelos de IA. Mas quando esses protótipos chegam à secretária do CISO ou à revisão orçamental do CFO, a maioria para antes da produção.

Para instituições financeiras, ministérios e grandes grupos comerciais, há dois limites rígidos:

• Os dados têm de ficar em casa. Enviar dados pessoais de clientes, ficheiros KYC bilingues ou dados quantitativos proprietários através de um serviço de IA de terceiros viola as regras de residência de dados e os controlos internos de risco.

• Os custos crescem com cada utilizador. Quando cada prompt, cada passagem recuperada e cada passo de um agente passa por um modelo de fronteira de 70 mil milhões de parâmetros ou mais, a fatura mensal cresce muito mais depressa do que o número de utilizadores.

Uma IA soberana que um regulador aceita e que um orçamento suporta exige engenharia de sistemas disciplinada, não prompts engenhosos. É assim que a construímos.

1. Inferência privada, sem dados a sair

A verdadeira soberania dos dados significa que nada sai do seu ambiente: nem os seus dados, nem a telemetria do modelo. Construímos clusters privados de inferência GPU, nas suas instalações ou num espaço dedicado de nuvem soberana. Executam modelos de pesos abertos, ajustados ao seu domínio e quantizados para a velocidade, em motores de serviço de alto débito como vLLM e TensorRT-LLM. Os seus dados permanecem encriptados dentro do seu perímetro de segurança, e as suas políticas atuais de identidade e acesso (IAM) aplicam-se até às linhas individuais do armazenamento vetorial.

2. Agentes que agem, sob controlo

Um modelo que só responde a perguntas é uma barra de pesquisa. Um sistema que executa trabalho precisa de capacidade de ação controlada. Adotamos como norma o Model Context Protocol (MCP) e a orquestração agente a agente (A2A), que mantêm o modelo de raciocínio separado dos seus sistemas centrais:

• Os agentes usam apenas ferramentas aprovadas. Chegam aos ERP, às API de core bancário e aos lakehouses de dados apenas através de servidores MCP tipados com esquemas fixos. Nunca recebem palavras-passe em bruto de bases de dados nem uma linha de comandos aberta.

• Cada passo é registado. Cada ação, chamada de ferramenta e recuperação é escrita num registo que não pode ser alterado. Alterações de alto risco, como uma aprovação de conformidade ou a alteração de uma decisão de crédito, ficam suspensas até uma pessoa as aprovar com uma assinatura criptográfica.

3. Token FinOps: pagar o modelo de que cada tarefa precisa

Em produção, até 60% das consultas e verificações de conformidade seguem padrões que se repetem. Enviar todas ao maior modelo desperdiça dinheiro e tempo. O nosso gateway de três níveis reduz em mais de metade o gasto mensal de GPU e API:

• Uma cache semântica. Antes de chamar um modelo, o gateway verifica se já existe uma resposta validada e conforme com as políticas. As perguntas repetidas são respondidas em menos de 30 milissegundos, com quase nenhum custo de computação.

• Encaminhamento por dificuldade. Um pequeno classificador avalia o que cada tarefa precisa. Extração, classificação e tradução rotineiras vão para modelos rápidos e ajustados de 7 a 8 mil milhões de parâmetros. Os modelos de raciocínio pesado tratam apenas trabalho de vários passos.

• Prompts mais curtos. O pipeline de recuperação remove o texto repetitivo antes de construir o prompt, para que entrem menos tokens, sem perda de precisão.

Por onde começar

Se o seu trabalho de IA está preso entre revisões de segurança e faturas de nuvem imprevisíveis, comece no Blueprint Studio da XSIS. Em apenas 1 a 2 semanas, os nossos arquitetos de IA e nuvem mapeiam onde os seus dados têm de ficar, testam o encaminhamento de modelos com as suas cargas reais e entregam uma arquitetura de produção de âmbito fixo.