IA soberana en producción: la mitad de tokens, datos dentro

En los últimos dos años, cientos de empresas crearon prototipos de IA prometedores conectando documentos internos a API públicas de modelos de IA. Sin embargo, cuando esos prototipos llegan al despacho del CISO o a la revisión presupuestaria del CFO, la mayoría se detiene antes de producción.

Para las instituciones financieras, los ministerios y los grandes grupos comerciales, hay dos límites estrictos:

• Los datos deben quedarse en casa. Enviar datos personales de clientes, archivos KYC bilingües o datos cuantitativos propietarios a un servicio de IA de terceros incumple las reglas de residencia de datos y los controles internos de riesgo.

• Los costes crecen con cada usuario. Cuando cada prompt, cada pasaje recuperado y cada paso de un agente pasa por un modelo de frontera de 70 000 millones de parámetros o más, la factura mensual crece mucho más rápido que el número de usuarios.

Una IA soberana que un regulador acepte y un presupuesto pueda sostener exige ingeniería de sistemas disciplinada, no prompts ingeniosos. Así la construimos.

1. Inferencia privada, sin datos que salgan

La verdadera soberanía de los datos significa que nada sale de su entorno: ni sus datos ni la telemetría del modelo. Construimos clústeres privados de inferencia GPU, en sus instalaciones o en un espacio dedicado de nube soberana. Ejecutan modelos de pesos abiertos, ajustados a su dominio y cuantizados para ganar velocidad, en motores de servicio de alto rendimiento como vLLM y TensorRT-LLM. Sus datos permanecen cifrados dentro de su perímetro de seguridad, y sus políticas actuales de identidad y acceso (IAM) se aplican hasta las filas individuales del almacén vectorial.

2. Agentes que actúan, bajo control

Un modelo que solo responde preguntas es una barra de búsqueda. Un sistema que ejecuta trabajo necesita una capacidad de acción controlada. Usamos como estándar el Model Context Protocol (MCP) y la orquestación agente a agente (A2A), que mantienen el modelo de razonamiento separado de sus sistemas centrales:

• Los agentes solo usan herramientas aprobadas. Llegan a los ERP, a las API de core bancario y a los lakehouses de datos solo mediante servidores MCP tipados con esquemas fijos. Nunca reciben contraseñas de bases de datos en claro ni una línea de comandos abierta.

• Cada paso queda registrado. Cada acción, llamada a herramienta y recuperación se escribe en un registro inalterable. Los cambios de alto riesgo, como una aprobación de cumplimiento o la modificación de una decisión de crédito, se detienen hasta que una persona los aprueba con una firma criptográfica.

3. Token FinOps: pagar el modelo que cada tarea necesita

En producción, hasta el 60 % de las consultas y comprobaciones de cumplimiento siguen patrones que se repiten. Enviarlas todas al modelo más grande desperdicia dinero y tiempo. Nuestra pasarela de tres niveles reduce en más de la mitad el gasto mensual de GPU y API:

• Una caché semántica. Antes de llamar a un modelo, la pasarela comprueba si ya existe una respuesta validada y conforme a las políticas. Las preguntas repetidas se responden en menos de 30 milisegundos, casi sin coste de cómputo.

• Enrutamiento según la dificultad. Un pequeño clasificador juzga qué necesita cada tarea. La extracción, clasificación y traducción rutinarias van a modelos rápidos y ajustados de 7 000 a 8 000 millones de parámetros. Los modelos de razonamiento pesado solo tratan trabajo de varios pasos.

• Prompts más cortos. El pipeline de recuperación elimina el texto repetitivo antes de construir el prompt, así entran menos tokens sin pérdida de precisión.

Por dónde empezar

Si su trabajo de IA está atascado entre revisiones de seguridad y facturas de nube impredecibles, empiece en el Blueprint Studio de XSIS. En tan solo 1 a 2 semanas, nuestros arquitectos de IA y nube mapean dónde deben quedarse sus datos, prueban el enrutamiento de modelos con sus cargas reales y entregan una arquitectura de producción de alcance fijo.