Brainiall Observability
あなたのLLMアプリが実際に何をしているかを見る

どのように比較するか

LLMの観測性は、あなたがホストするオープンソースのプラットフォームまたはそのホストクラウドとして、あなたのトラフィックの前に座るプロキシとして、または一つのオーケストラのフレームワークに結びついたトラッキングツールとして販売され、ハイパースカラーはそれを幅広いアプリケーションモニタリングスイートに追加します。 ingest API: POST a trace, GET aggregate statistics, POST a eval. It is framework-agnostic, adds nothing to your request path, and shares one API key and one bill with the rest of the catalog. API: POST a trace, GET aggregate statistics, POST a eval. API: POST a trace, GET aggregate statistics. API: POST a trace, GET aggregate statistics. API: POST a trace, GET aggregate statistics. API: POST a trace, GET aggregate statistics. API: POST a trace, GET aggregate statistics. API: POST a trace, GET aggregate statistics. API: POST a trace, GET aggregate statistics.

価格はオリエンテーションのためのリスト価格のアプローチであり、引用ではありません - 売り手は使用単位、要求、トラック、または座席によって観測性を測定するので、毎回の数字は直接比べられません。 プロキシはあなたのトラフィックを妨げ、遅延を追加することができます。

価格

トラックを入力、トラックを検索、または eval を実行するための 1 つのオペレーティング 価格 読み集めの統計は常に無料ですので、ダッシュボードは関税を燃やすことなく調査することができます。

PAYG: $0.0002 / オペレーション (Brainiall LLM 観測力エンジン) オペレーションは 1 つのトラック 入力、 1 つのトラック リクエストまたは 1 つの eval 実行; 読書 合計 統計 は決して測定されません. 最低限の支出はありません、契約はありません - 同じ単一の API キーと使用ベースの請求は、カタログの残りと同じです。

3 建物ブロック

# Authenticate every call:  Authorization: Bearer brnl-...

# 1. Ingest a trace — one record per LLM call your app makes
POST https://api.brainiall.com/v1/observability/traces
  body: {"name": "chat-completion", "model": "assistant-v2",
         "input": "Summarize the Q3 report.",
         "output": "Q3 revenue rose 12% on strong API demand.",
         "input_tokens": 480, "output_tokens": 95,
         "latency_ms": 1340, "cost_usd": 0.0021, "status": "ok",
         "metadata": {"user": "u_8821", "session": "s_4f1c"}}
  -> {"trace_id": "62a398c73c1649c7", "status": "recorded",
      "engine": "Brainiall LLM Observability engine"}

# 2. Stats — aggregate health over any window (free, never metered)
GET https://api.brainiall.com/v1/observability/stats?window_s=86400
  -> {"trace_count": 14820, "error_count": 63, "error_rate": 0.0043,
      "latency_ms": {"p50": 910, "p95": 2480, "max": 8800},
      "input_tokens": 6820400, "output_tokens": 1390250,
      "cost_usd": 28.74, "traces_by_model": {"assistant-v2": 14102}}

# 3. Evals — score a response with fast, deterministic heuristic checks
#    groundedness here = lexical content-word overlap, not a semantic check
POST https://api.brainiall.com/v1/evals/run
  body: {"input": "Summarize the Q3 report.",
         "output": "Q3 revenue rose 12% year over year.",
         "reference": "Q3 revenue increased 12% YoY.",
         "checks": ["relevance", "groundedness", "non_refusal", "pii_safe"]}
  -> {"checks": {"groundedness": {"score": 0.6,
        "reason": "response/reference content-word overlap is 60% (lexical-overlap heuristic, not a semantic check)"}},
      "overall_score": 0.73, "checks_run": ["relevance", "..."]}

# List + filter:  GET /v1/observability/traces?model=assistant-v2&status=error
# Fetch one:      GET /v1/observability/traces/{trace_id}

トラックのすべてのフィールドは、あなたが送信することを選択したもの以外に選択肢です - すぐに、遅延、またはトークンとコストを含む完全な通話のみをログインします。 model, status そしてA since タイムスタンプでは、ダッシュボードが1つのモデルの間違った通話に直ちに振り込むことができます。

LLMの観測力がどのように機能するか

3つの平らなREST通話 - 採用するSDKはありません、あなたのトラフィックをルートするプロキシはありません. あなたはすべてのモデル通話のコントロールを維持します; Brainiall ストアと何が起こったかを説明します。

• あらゆる呼び出しを追跡する。 それぞれのLLMの呼び出しアプリを作成した後、あなたが記録したいものとトラックを投稿します - スピード、完了、トークン数、遅延、コスト、 ok or error ステータスとフリーフォーマットメタデータタグ
• 健康を組み合わせる。 1つの統計通話は、ウィンドウ内のすべてのトラックをトラック数、エラーレート、遅延パーセント、合計トークン、合計コスト、およびモデル分割に変換します。
• 答えを記録する。 eval endpoint は、迅速かつ決定的なヘウリスティックチェックを実行します - 関連性、論理的な上昇と参照、非否定性、有効な JSON、長さと PII セキュリティスキャン - は、それぞれのためのスコアと正確な英語の理由を返します。 groundedness ここをチェックするには、文法上のヘウリスティック(共有コンテンツの単語)、セマンティックなハルシナーション検出器ではなく、セマンティックな基礎性のために、コンテンツセキュリティプロを使用します。 /v1/safety/groundedness エンドポイント
• ご要望の道には何もありません。 Brainiall はあなたのモデルトラフィックを予測することはありませんので、遅延を追加したり、ライブ通話の依存症になることはできません - あなたは事実に従って、自分のスケジュールで POST を追跡します。
• プロバイダー診断 トラックは単なるデータですので、アプリケーションの呼び出しのモデルやプロバイダーに関係なく動作します - フレームワークやプロバイダーが合わない。

何のためにあるのか

• Debug 生産 LLM アプリケーション: すべての通話の検索可能な記録を保持し、何かが間違っているように見えるとき、間違ったまたは遅いものに直ちにフィルタリングします。
• コスト&トークントラッキング: ロール トークンは、モデルごとに実行総額に数え、電話当たりのコストを計算するので、LLM 請求書は驚きとして決して到着しません。
• 遅延監視p50、p95、および最大の遅延をウィンドウの上にチェックし、モデルまたは即時変更が背中を押すときに警告します。
• レグレジションテスト&評価: CIにおける迅速かつ決定的なヘウリスティックチェックでスコアモデル反応を記録し、関連性または参照が圧倒されると構築が失敗します。
• RAG オーバーラップチェック: 回収された文脈を参照として通過し、その内容の単語の数を測定し、答えを繰り返す - 迅速かつ決定的な言語信号. 答えが実際に文脈によってサポートされているかどうかをセマンティックにチェックするには(サポートスペースといかなる矛盾も含む)コンテンツセキュリティプロを使用します。 /v1/safety/groundedness エンドポイント
• ひとつ、ひとつの鍵: 同じ Brainiall API キーと使用ベースの請求は、他のカタログと同様に - 別々の観測性プロバイダーが提供しない。

プレスキット&リソース

レビュー者、統合者、および買収チームが通常求めているもの。

より専門 APIs

同じ単一のAPIキー、同じ使用ベースの価格、異なる問題が解決されました。

文書 AIOCR&文書からの構造化された抽出

Brainiall Content Guardテキスト&イメージポリシースクリーニング

Brainiall Vision Taggerオブジェクト&シーンタグ 画像

Brainiall Identityフェイス・マッチ、活力&Deepfakeチェック