Brainiall Observability
Ver lo que su aplicación LLM realmente está haciendo

Cómo nos comparamos

La observabilidad de LLM se vende como una plataforma de código abierto autoalojada o en su nube gestionada, como un proxy frente a tu tráfico, o como una herramienta de trazado ligada a un framework de orquestación — y los hiperescaladores la integran en una suite amplia de monitoreo de aplicaciones. Brainiall es una REST simple ingest API: POST de un trace, GET de estadísticas agregadas, POST de un eval. Es agnóstico al framework, no agrega nada a tu ruta de request y comparte una API key y una factura con el resto del catálogo.

Los precios son aproximaciones de lista para orientación, no cotizaciones: los proveedores miden la observabilidad por unidad de uso, solicitud, traza o asiento, por lo que una cifra por operación no es directamente comparable. Un proxy intercepta su tráfico y puede agregar latencia; el modelo de ingesta de Brainiall nunca se ubica en la ruta de la solicitud. Verifique siempre los términos vigentes de cada proveedor.

Precios

Un precio por operación para ingerir una traza, consultar trazas o ejecutar una evaluación. Leer estadísticas agregadas siempre es gratis, así que un dashboard puede sondear sin consumir cuota. El nivel gratuito alcanza para instrumentar una aplicación real de punta a punta.

PAYG: USD 0.0002 / operación (motor de Observabilidad LLM de Brainiall). Una operación es una traza ingerida, una consulta de trazas o una ejecución de evaluación; leer estadísticas agregadas nunca se mide. Sin gasto mínimo, sin contrato — la misma clave de API única y facturación por uso que el resto del catálogo.

Tres bloques de construcción

# Authenticate every call:  Authorization: Bearer brnl-...

# 1. Ingest a trace — one record per LLM call your app makes
POST https://api.brainiall.com/v1/observability/traces
  body: {"name": "chat-completion", "model": "assistant-v2",
         "input": "Summarize the Q3 report.",
         "output": "Q3 revenue rose 12% on strong API demand.",
         "input_tokens": 480, "output_tokens": 95,
         "latency_ms": 1340, "cost_usd": 0.0021, "status": "ok",
         "metadata": {"user": "u_8821", "session": "s_4f1c"}}
  -> {"trace_id": "62a398c73c1649c7", "status": "recorded",
      "engine": "Brainiall LLM Observability engine"}

# 2. Stats — aggregate health over any window (free, never metered)
GET https://api.brainiall.com/v1/observability/stats?window_s=86400
  -> {"trace_count": 14820, "error_count": 63, "error_rate": 0.0043,
      "latency_ms": {"p50": 910, "p95": 2480, "max": 8800},
      "input_tokens": 6820400, "output_tokens": 1390250,
      "cost_usd": 28.74, "traces_by_model": {"assistant-v2": 14102}}

# 3. Evals — score a response with fast, deterministic heuristic checks
#    groundedness here = lexical content-word overlap, not a semantic check
POST https://api.brainiall.com/v1/evals/run
  body: {"input": "Summarize the Q3 report.",
         "output": "Q3 revenue rose 12% year over year.",
         "reference": "Q3 revenue increased 12% YoY.",
         "checks": ["relevance", "groundedness", "non_refusal", "pii_safe"]}
  -> {"checks": {"groundedness": {"score": 0.6,
        "reason": "response/reference content-word overlap is 60% (lexical-overlap heuristic, not a semantic check)"}},
      "overall_score": 0.73, "checks_run": ["relevance", "..."]}

# List + filter:  GET /v1/observability/traces?model=assistant-v2&status=error
# Fetch one:      GET /v1/observability/traces/{trace_id}

Cada campo de un trace es opcional salvo los que elijas enviar: registra solo el prompt y la latencia, o la llamada completa con tokens y costo. La lista de traces filtra por model, status y a since timestamp, para que un dashboard pueda profundizar directamente en las llamadas con error de un modelo.

Cómo funciona la observabilidad de LLM

Tres llamadas REST simples: sin SDK que adoptar, sin proxy que enrute su tráfico. Usted mantiene el control de cada llamada al modelo; Brainiall almacena y explica lo ocurrido.

• Rastrea cada llamada. Después de cada llamada al LLM que haga tu aplicación, envía un POST con una traza que registre lo que quieras — prompt, completion, conteo de tokens, latencia, costo, un ok or error estado y etiquetas de metadatos de formato libre.
• agregar la salud. Una sola llamada de estadísticas agrega cada traza en una ventana en: número de trazas, tasa de errores, percentiles de latencia, tokens totales, costo total y desglose por modelo — las cifras que necesita un dashboard o una alerta.
• Evaluar las respuestas. El endpoint de eval ejecuta checks heurísticos rápidos y deterministas —relevancia, solapamiento léxico con una referencia, no-rechazo, JSON válido, longitud y escaneo de PII— y devuelve una puntuación y una razón en lenguaje claro para cada uno. El groundedness check aquí es una heurística de superposición léxica (palabras de contenido compartidas), no un detector semántico de alucinaciones; para verificación semántica usa Content Safety Pro /v1/safety/groundedness endpoint.
• Nada en la ruta de tus solicitudes. Brainiall nunca hace de proxy del tráfico de tu modelo, por lo que no puede agregar latencia ni convertirse en dependencia de una llamada en vivo: tú haces POST de los traces después del hecho, según tu propio cronograma.
• Agnóstico de proveedor. Una traza es solo datos, por lo que funciona con cualquier modelo o proveedor que invoque tu aplicación — no hay framework ni proveedor al que adaptarse.

¿Para qué sirve?

• Depura aplicaciones LLM en producción: mantén un registro consultable de cada llamada, luego filtra directamente las con error o lentas cuando algo se vea mal.
• Seguimiento de costo y tokens: acumula el conteo de tokens y el costo por llamada en un total por modelo, para que la factura del LLM nunca sea una sorpresa.
• Monitoreo de latencia: observe la latencia p50, p95 y máxima en una ventana y alerte cuando un modelo o un cambio de prompt empuje la cola hacia afuera.
• Pruebas de regresión y evaluaciones: evalúa las respuestas del modelo con checks heurísticos rápidos y deterministas en CI, y falla el build cuando cae la relevancia o el solapamiento con la referencia.
• Verificaciones de solapamiento RAG: pasa el contexto recuperado como referencia y mide cuántas de sus palabras de contenido reutiliza una respuesta — una señal léxica rápida y determinista. Para una verificación semántica de si la respuesta está realmente respaldada por el contexto (con el fragmento de soporte y cualquier contradicción señalada), usa Content Safety Pro /v1/safety/groundedness endpoint.
• Una factura, una clave: la misma API key de Brainiall y facturación por uso que el resto del catálogo; sin contratar un proveedor de observabilidad aparte.

Kit de prensa y recursos

Lo que los revisores, integradores y equipos de contratación suelen pedir.

Más APIs especializadas

La misma clave de API única, el mismo precio basado en el uso, un problema diferente resuelto.

Document AIOCR y extracción estructurada de documentos

Brainiall Content GuardFiltrado de políticas para texto e imagen

Brainiall Vision TaggerEtiquetado de objetos y escenas en imágenes

Brainiall IdentityFace match, vitalidad y deepfake checks