Saltar al contenido principal

El gateway de LLM que conserva la potencia nativa.

Un solo binario de Rust. Compatible con OpenAI por fuera, con Vertex AI nativo y enrutamiento con Jev por dentro. Sin adaptadores de mínimo común denominador.

docker run --rm -p 8080:8080 -p 9090:9090 \
-e VERTEX_PROJECT_ID=my-gcp-project \
-e OPENAI_API_KEY=sk-... \
-e GOOGLE_APPLICATION_CREDENTIALS=/secrets/sa.json \
-v "$(pwd)/sa.json:/secrets/sa.json:ro" \
-v "$(pwd)/config:/app/config" \
sustentabilitas/synapse-gateway

# In a second terminal:
curl -s http://localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "gemini-flash",
"messages": [{"role": "user", "content": "Describe this video."}],
"vertex": {
"media_uris": ["gs://cloud-samples-data/video/animals.mp4"]
}
}'

Lo nativo, primero

Conserva las capacidades que otros gateways descartan

La mayoría de los gateways llegan a todos los proveedores a través de un único adaptador genérico. Synapse mantiene carriles nativos dedicados, así que las funcionalidades propias de cada proveedor sobreviven al viaje.

Arquitectura

Tres carriles, una única puerta de entrada compatible con OpenAI

Cada petición de chat pasa por los guardrails y, a continuación, la detección de carril elige el carril estándar, el Vertex nativo o el Jev. Cada ruta es una cadena de fallback ordenada, y cada llamada llega al registro de costes y al pipeline de métricas. Lee la guía de arquitectura

ClienteGuardrailsDetectar carrilCarril estándarOpenAI · QwenVertex · vLLMCarril Vertex nativoVertex AICarril JevTypeSafeCadenas de fallback · Registro de costes · Métricas de OpenTelemetry

Código abierto

Abierto, gratuito y desarrollado en abierto

Synapse se distribuye con licencia MPL-2.0, así que puedes integrarlo en productos comerciales. Todas las funcionalidades de esta página están en el código abierto, sin ningún nivel de pago, y las mejoras que nos devuelvas son bienvenidas.