Brainiall Observability
Sehen Sie, was Ihre LLM App wirklich tut

Wie wir vergleichen

Die LLM-Beobachtbarkeit wird als Open-Source-Plattform verkauft, die Sie selbst beherbergen oder ihre geherbergen Cloud, als Proxy, die vor Ihrem Traffic sitzt, oder als Tracking-Tool, das mit einem Orchester-Framework verbunden ist - und die Hyperscalers füllten es in eine breite Anwendung-Monitoring-Suite. ingest API: POST eine Spur, GET aggregate Statistiken, POST eine eval. Es ist Framework-agnostik, fügt nichts zu Ihrem Anfrage-Path hinzu und teilt einen API-Schlüssel und einen Rechnung mit dem Rest des Katalogs.

Preise sind Listen-Preis-Anstimmungen für Orientierung, nicht Quoten - Verkäufer messen die Beobachtbarkeit durch die Benutzungseinheit, die Anfrage, die Spur oder die Sitzung, so dass eine pro-Operation-Figur nicht direkt vergleichbar ist. Ein Proxy unterdrückt Ihren Verkehr und kann Lassenz hinzufügen; Brainiall's eingebautes Modell sitzt niemals in Ihrer Anfrage-Path.

Preise

Ein Preis pro Betrieb für die Einnahme einer Spur, die Suche nach Spuren oder die Durchführung eines eval. Lesen aggregate Statistiken ist immer kostenlos, so dass ein Dashboard ohne Brennen Quoten zu überprüfen.

PAYG: $0.0002 / Betrieb (Brainiall LLM Beobachtungsmotor). Eine Operation ist eine Trace eingegeben, eine Trace Query oder eine eval run; Lesen aggregate Statistiken wird nie gemessen. Keine Mindestkosten, keine Vertrag - die gleiche API-Schlüssel und Gebrauch-basierte Rechnung wie der Rest des Katalogs.

Drei Gebäudeblöcke

# Authenticate every call:  Authorization: Bearer brnl-...

# 1. Ingest a trace — one record per LLM call your app makes
POST https://api.brainiall.com/v1/observability/traces
  body: {"name": "chat-completion", "model": "assistant-v2",
         "input": "Summarize the Q3 report.",
         "output": "Q3 revenue rose 12% on strong API demand.",
         "input_tokens": 480, "output_tokens": 95,
         "latency_ms": 1340, "cost_usd": 0.0021, "status": "ok",
         "metadata": {"user": "u_8821", "session": "s_4f1c"}}
  -> {"trace_id": "62a398c73c1649c7", "status": "recorded",
      "engine": "Brainiall LLM Observability engine"}

# 2. Stats — aggregate health over any window (free, never metered)
GET https://api.brainiall.com/v1/observability/stats?window_s=86400
  -> {"trace_count": 14820, "error_count": 63, "error_rate": 0.0043,
      "latency_ms": {"p50": 910, "p95": 2480, "max": 8800},
      "input_tokens": 6820400, "output_tokens": 1390250,
      "cost_usd": 28.74, "traces_by_model": {"assistant-v2": 14102}}

# 3. Evals — score a response with fast, deterministic heuristic checks
#    groundedness here = lexical content-word overlap, not a semantic check
POST https://api.brainiall.com/v1/evals/run
  body: {"input": "Summarize the Q3 report.",
         "output": "Q3 revenue rose 12% year over year.",
         "reference": "Q3 revenue increased 12% YoY.",
         "checks": ["relevance", "groundedness", "non_refusal", "pii_safe"]}
  -> {"checks": {"groundedness": {"score": 0.6,
        "reason": "response/reference content-word overlap is 60% (lexical-overlap heuristic, not a semantic check)"}},
      "overall_score": 0.73, "checks_run": ["relevance", "..."]}

# List + filter:  GET /v1/observability/traces?model=assistant-v2&status=error
# Fetch one:      GET /v1/observability/traces/{trace_id}

Jedes Feld auf einer Spur ist optionell, mit Ausnahme der, die Sie sich entscheiden, zu senden - nur die Spur und Latein, oder die vollständige Anrufe mit Token und Kosten. model, status und a since Timestamp, so dass ein Dashboard direkt in die falschen Anrufe eines Modells drücken kann.

Wie LLM Beobachtbarkeit funktioniert

Drei reine REST Anrufe - keine SDK zu adoptieren, keine Proxy, um Ihren Verkehr durchzuführen. Sie bleiben in der Kontrolle über jedes Modell Anrufe; Brainiall speichert und erklärt, was passiert ist.

• Folgen Sie jedem Anruf. Nach jeder LLM rufen Sie Ihre App macht, POST eine Spur mit allem, was Sie wollen aufgezeichnet - schnell, Vollendung, Token zählen, Latenz, Kosten, eine ok or error Status und Free-Form Metadata tags.
• Verbinden Sie die Gesundheit. Eine statistische Anrufe rollt jede Spur in einem Fenster in die Spurrechnung, Fehlerrate, Latenzprozentsätze, Gesamt-Token, Gesamtkosten und eine Pro-Modellbrechung - die Zahlen ein Dashboard oder eine Alarmbedarf.
• Bewerten Sie die Antworten. Das eval Endpoint führt schnelle, deterministische heuristische Überprüfungen - Relevanz, lexische Überlap mit einer Referenz, nicht-Refusal, gültiger JSON, Länge und eine PII-Sicherheit-Scanner - und gibt für jeden einen Score und einen klaren Englischen Grund zurück. groundedness Überprüfen Sie hier ein lexikalisch überlapfertiges Heurismus (verteilte Inhaltewörter), nicht ein semantischer Halluzinationsdetektor; für semantische Grundlage verwenden Sie die Content Safety Pro /v1/safety/groundedness Der Endpunkt.
• Nichts in deinem Anforderungsweg. Brainiall proxyert niemals Ihr Modellverkehr, so dass es nicht Lateenz hinzufügen oder zu einer Abhängigkeit von einem Live-Rufen werden kann - Sie POST nach dem Fakt, auf Ihrem eigenen Schema.
• Anbieter diagnostiziert. Eine Spur ist nur Daten, so dass es mit jedem Modell oder Anbieter funktioniert, das Ihre Anwendung anruft - es gibt kein Rahmen oder Anbieter, das passt.

Was ist es für

• Debug Produktion LLM Apps: Halten Sie eine nachrufbare Aufzeichnung von jedem Anruf, dann filtern Sie direkt zu den falschen oder langsamen, wenn etwas falsch erscheint.
• Kosten & Token Tracking: Roll-Token berechnet und per-Call-Kosten in ein laufendes Gesamt pro Modell, so dass eine LLM-Konto nie als Überraschung kommt.
• Verzögerte Überwachung: p50, p95 und max Lateanz über ein Fenster beobachtet und warnt, wenn ein Modell oder eine schnelle Änderung den Rücken ausdrückt.
• Regressionstests und Evals: Score-Modellreaktionen mit schnellen, deterministischen heuristischen Überprüfungen in CI und scheitern, wenn Relevanz oder Referenz überlaufen.
• RAG Überlapcheck: übertragen Sie den erworbenen Kontext als Referenz und messen Sie, wie viele seiner Inhaltswörter eine Antwort wiederholt - ein schnelles, deterministisches lexisches Signal. Für eine semantische Überprüfung, ob die Antwort tatsächlich von dem Kontext unterstützt wird (mit der Unterstützungspanne und jeglichen Widersprüchen), verwenden Sie den Content Safety Pro /v1/safety/groundedness Der Endpunkt.
• Ein Buch, ein Schlüssel: die gleiche Brainiall API-Schlüssel und benutzungsbasierte Rechnung wie der Rest des Katalogs – keine separate Beobachtungsanbieter zu erwerben.

Pressemitteilung & Ressourcen

Welche Prüfer, Integratoren und Beschaffungsteams normalerweise fragen.

Mehr Spezialitäten APIs

Die gleiche API-Schlüssel, die gleiche Gebrauchsbasierte Preise, unterschiedliche Probleme gelöst.

Dokumentation AIOCR & strukturierte Ausnahme von Dokumenten

Brainiall Content GuardText & Bildpolitik Screening

Brainiall Vision TaggerObject & Scene-Tags für Bilder

Brainiall IdentityFace match, lebensfähigkeit & deepfake-checks