Una única puerta de enlace para todo.
Conecta, enruta y gobierna el acceso a modelos de IA a través de una puerta de enlace unificada, creada para cargas de trabajo empresariales.
Una sola dirección para cada modelo
Su código llama a la pasarela. La pasarela decide qué proveedor atiende la petición y deja constancia de lo ocurrido.
Lo que la pasarela le quita de encima
El trabajo que aparece en cuanto llega un segundo modelo, un segundo proveedor o un segundo equipo.
Conmutación que no es problema suyo
Cuando un proveedor se ralentiza o falla, el siguiente de la política toma la petición sin desplegar nada.
Topes de gasto que muerden
Límites por equipo y por clave aplicados en la pasarela, no descubiertos en la factura.
Las claves de proveedor viven en un solo sitio
Las aplicaciones tienen una clave de pasarela. Las credenciales del proveedor nunca salen de ella.
El trabajo repetido no cuesta nada
Las peticiones idénticas se sirven de caché, con la tasa de acierto junto al gasto.
Qué admite la pasarela
- Proveedores
- Anthropic, OpenAI, Google, Mistral y cualquier extremo compatible con OpenAI que usted aloje.
- Enrutado
- Políticas ponderadas, por coste, por latencia y fijadas por región, con conmutación ordenada.
- Límites
- Topes de frecuencia y de gasto por clave, por equipo y por modelo.
- Caché
- Coincidencia exacta y prefijo de prompt, configurable por ruta.
- Registros
- Cada petición se conserva con modelo, tokens, coste, latencia y solicitante.
Antes de enrutar producción por ella
Lo que preguntan los equipos de plataforma cuando un único componente se sitúa delante de cada llamada a un modelo.
Apunte una llamada hacia ella
Cambie una URL base, envíe una petición y lea la decisión de enrutado que tomó.