Brainiall Observability
Voyez ce que votre application LLM fait réellement

Comment nous comparons

La observabilité LLM est vendue comme une plate-forme open-source que vous accueillez vous-même ou son cloud hébergé, comme un proxy qui se trouve devant votre trafic, ou comme un outil de suivi lié à un cadre d'orchestration - et les hyperscalers le foldent dans une large suite de suivi d'application. ingest API : POST un trace, GET aggregé des statistiques, POST un eval. Il est cadre-agnostique, ne ajoute rien à votre chemin de demande, et partage une clé API et une facture avec le reste du catalogue.

Les prix sont des approximations de prix de liste pour l'orientation, pas des références - les vendeurs mesurent l'observabilité par l'unité d'utilisation, la demande, la trace ou le siège, donc un chiffre par opération n'est pas directement comparable. Un proxy intercepte votre trafic et peut ajouter la latence; le modèle ingesté de Brainiall ne se trouve jamais dans votre chemin de demande.

prix

Un prix par opération pour la saisie d'un trace, la recherche de traces ou la mise en œuvre d'un eval. Lire les statistiques agrégées est toujours gratuit, de sorte qu'un panneau peut enquêter sans brûler la quota.

PAYG: $0.0002 / opération (Motor d'observation Brainiall LLM). Une opération est un trace ingéré, un trace query ou un eval fonctionne; la lecture des statistiques agrégées n'est jamais mesurée. pas de dépenses minimales, pas de contrat - la même clé API unique et la facturation basée sur l'utilisation que le reste du catalogue.

Trois blocs de bâtiment

# Authenticate every call:  Authorization: Bearer brnl-...

# 1. Ingest a trace — one record per LLM call your app makes
POST https://api.brainiall.com/v1/observability/traces
  body: {"name": "chat-completion", "model": "assistant-v2",
         "input": "Summarize the Q3 report.",
         "output": "Q3 revenue rose 12% on strong API demand.",
         "input_tokens": 480, "output_tokens": 95,
         "latency_ms": 1340, "cost_usd": 0.0021, "status": "ok",
         "metadata": {"user": "u_8821", "session": "s_4f1c"}}
  -> {"trace_id": "62a398c73c1649c7", "status": "recorded",
      "engine": "Brainiall LLM Observability engine"}

# 2. Stats — aggregate health over any window (free, never metered)
GET https://api.brainiall.com/v1/observability/stats?window_s=86400
  -> {"trace_count": 14820, "error_count": 63, "error_rate": 0.0043,
      "latency_ms": {"p50": 910, "p95": 2480, "max": 8800},
      "input_tokens": 6820400, "output_tokens": 1390250,
      "cost_usd": 28.74, "traces_by_model": {"assistant-v2": 14102}}

# 3. Evals — score a response with fast, deterministic heuristic checks
#    groundedness here = lexical content-word overlap, not a semantic check
POST https://api.brainiall.com/v1/evals/run
  body: {"input": "Summarize the Q3 report.",
         "output": "Q3 revenue rose 12% year over year.",
         "reference": "Q3 revenue increased 12% YoY.",
         "checks": ["relevance", "groundedness", "non_refusal", "pii_safe"]}
  -> {"checks": {"groundedness": {"score": 0.6,
        "reason": "response/reference content-word overlap is 60% (lexical-overlap heuristic, not a semantic check)"}},
      "overall_score": 0.73, "checks_run": ["relevance", "..."]}

# List + filter:  GET /v1/observability/traces?model=assistant-v2&status=error
# Fetch one:      GET /v1/observability/traces/{trace_id}

Chaque champ sur un trace est facultatif sauf celui que vous choisissez d'envoyer - enregistrez uniquement la prompt et la latence, ou l'appel complet avec des tokens et des coûts. model, status et a since timestamp, de sorte qu'un panneau de bord peut bouillir directement dans les appels erronés d'un modèle.

Comment fonctionne l'observation LLM

Trois appels REST plates - pas de SDK à adopter, pas de proxy à parcourir votre trafic. Vous resterez sous le contrôle de chaque appel de modèle; Brainiall stocke et explique ce qui s'est passé.

• Suivez chaque appel. Après chaque LLM appelle votre application fait, POST une trace avec tout ce que vous voulez enregistré — prompt, completion, compte de token, latence, coût, un ok or error Étiquettes et méta-détails de forme libre.
• Agrégez la santé. Un appel statistique tourne chaque trace dans une fenêtre dans le nombre de traces, le taux d'erreur, les pourcentages de latence, les tokens totaux, le coût total et une rupture par modèle - les chiffres d'un panneau ou un besoin d'alerte.
• Score les réponses. Le point final eval effectue des vérifications héuristiques rapides, déterministes — pertinence, surlap lexical avec une référence, non-refuse, JSON valide, longueur et un scan de sécurité PII — et retourne un score et une raison anglaise claire pour chacun. groundedness vérifier ici est un heuristique lexical-surlap (partage de mots de contenu), pas un détecteur de hallucination sémantique; pour la fondation sémantique utilisez le contenu de sécurité Pro /v1/safety/groundedness Le point final.
• Rien dans votre chemin de demande. Brainiall ne procure jamais votre trafic de modèle, de sorte qu’il ne peut pas ajouter de la latence ou devenir une dépendance d’une appel en direct – vous POST suivez le fait, sur votre propre horaire.
• Fournisseur de diagnostic. Un trace n’est que des données, donc il fonctionne avec n’importe quel modèle ou fournisseur que vos appels d’application – il n’y a pas de cadre ou fournisseur pour correspondre.

C’est pour quoi

• Les applications de production de Debug LLM: gardez un enregistrement recherchable de chaque appel, puis filtrez directement vers les erreurs ou les lents lorsque quelque chose semble mal.
• Coût et tracking de token: le token de rotation compte et coûte par appel dans un total de fonctionnement par modèle, de sorte qu'une facture LLM ne arrive jamais comme une surprise.
• La surveillance de lenteur: regarde la latence p50, p95 et max sur une fenêtre et alerte quand un modèle ou un changement immédiat pousse le dos.
• Tests de régression et évaluations: réactions de modèle de score avec des vérifications héuristiques rapides et déterministes dans CI, et échouent à la construction lorsque la pertinence ou la référence surlappe.
• Les contrôles de RAG: passer le contexte récupéré comme référence et mesurer combien de ses mots de contenu une réponse récupère — un signal lexical rapide, déterministe. Pour un contrôle sémantique de savoir si la réponse est réellement soutenue par le contexte (avec le délai de soutien et toutes les contradictions évoquées), utilisez le Content Safety Pro /v1/safety/groundedness Le point final.
• Un billet, une clé: la même clé de Brainiall API et la facturation basée sur l'usage que le reste du catalogue - aucun fournisseur d'observation séparé à acheter.

Kit de presse & ressources

Ce que les critiques, les intégrateurs et les équipes d'approvisionnement demandent généralement.

Plus de spécialités APIs

La même clé API unique, le même prix basé sur l'utilisation, différents problèmes résolus.

Documents àOCR et extraction structurée des documents

Brainiall Content GuardScreening de textes et d'images

Brainiall Vision TaggerObjet & scène pour les images

Brainiall IdentityFace match, vitesse et deepfake