Brainiall Observability
Veja o que seu aplicativo de LLM está realmente fazendo

Como comparamos

A observabilidade de LLM é vendida como uma plataforma open-source que você mesmo hospeda ou em nuvem gerenciada, como um proxy à frente do seu tráfego, ou como uma ferramenta de tracing atrelada a um framework de orquestração — e os hyperscalers a incorporam a uma suíte ampla de monitoramento de aplicações. Brainiall é uma API REST simples ingest API: POST de um trace, GET de estatísticas agregadas, POST de uma avaliação. É agnóstica de framework, não adiciona nada ao seu request path e compartilha uma chave de API e uma fatura com o resto do catálogo.

Os preços são aproximações de tabela para orientação, não cotações — fornecedores medem observabilidade por unidade de uso, requisição, trace ou assento, portanto um valor por operação não é diretamente comparável. Um proxy intercepta seu tráfego e pode adicionar latência; o modelo de ingestão da Brainiall nunca fica no caminho da requisição. Verifique sempre os termos atuais de cada fornecedor.

Preço

Um preço por operação para ingerir um trace, consultar traces ou rodar uma eval. A leitura de estatísticas agregadas é sempre gratuita, então um dashboard pode fazer polling sem consumir cota. O tier gratuito é suficiente para instrumentar um app real de ponta a ponta.

PAYG: US$ 0,0002 / operação (Brainiall LLM Observability engine). Uma operação é um trace ingerido, uma consulta de traces ou uma execução de eval; a leitura de estatísticas agregadas nunca é medida. Sem gasto mínimo, sem contrato — a mesma chave de API única e cobrança por uso do restante do catálogo.

Três blocos de construção

# Authenticate every call:  Authorization: Bearer brnl-...

# 1. Ingest a trace — one record per LLM call your app makes
POST https://api.brainiall.com/v1/observability/traces
  body: {"name": "chat-completion", "model": "assistant-v2",
         "input": "Summarize the Q3 report.",
         "output": "Q3 revenue rose 12% on strong API demand.",
         "input_tokens": 480, "output_tokens": 95,
         "latency_ms": 1340, "cost_usd": 0.0021, "status": "ok",
         "metadata": {"user": "u_8821", "session": "s_4f1c"}}
  -> {"trace_id": "62a398c73c1649c7", "status": "recorded",
      "engine": "Brainiall LLM Observability engine"}

# 2. Stats — aggregate health over any window (free, never metered)
GET https://api.brainiall.com/v1/observability/stats?window_s=86400
  -> {"trace_count": 14820, "error_count": 63, "error_rate": 0.0043,
      "latency_ms": {"p50": 910, "p95": 2480, "max": 8800},
      "input_tokens": 6820400, "output_tokens": 1390250,
      "cost_usd": 28.74, "traces_by_model": {"assistant-v2": 14102}}

# 3. Evals — score a response with fast, deterministic heuristic checks
#    groundedness here = lexical content-word overlap, not a semantic check
POST https://api.brainiall.com/v1/evals/run
  body: {"input": "Summarize the Q3 report.",
         "output": "Q3 revenue rose 12% year over year.",
         "reference": "Q3 revenue increased 12% YoY.",
         "checks": ["relevance", "groundedness", "non_refusal", "pii_safe"]}
  -> {"checks": {"groundedness": {"score": 0.6,
        "reason": "response/reference content-word overlap is 60% (lexical-overlap heuristic, not a semantic check)"}},
      "overall_score": 0.73, "checks_run": ["relevance", "..."]}

# List + filter:  GET /v1/observability/traces?model=assistant-v2&status=error
# Fetch one:      GET /v1/observability/traces/{trace_id}

Cada campo em um trace é opcional, exceto os que você escolhe enviar — registre apenas o prompt e a latência, ou a chamada completa com tokens e custo. A lista de traces filtra por model, status e a since timestamp, para que um painel possa filtrar diretamente as chamadas com erro de um modelo.

Como funciona a observabilidade de LLM

Três chamadas REST simples — sem SDK para adotar, sem proxy para rotear seu tráfego. Você mantém o controle de cada chamada ao modelo; o Brainiall armazena e explica o que aconteceu.

• Rastreie cada chamada. Após cada chamada de LLM feita pela sua aplicação, envie via POST um trace com o que quiser registrar — prompt, completion, contagem de tokens, latência, custo, um ok or error Status e tags de metadados de forma livre.
• Agregar a saúde. Uma chamada de stats consolida cada trace em uma janela em contagem de traces, taxa de erro, percentis de latência, tokens totais, custo total e detalhamento por modelo — os números que um dashboard ou alerta precisa.
• Pontue as respostas. O endpoint de eval executa checagens heurísticas rápidas e determinísticas — relevância, sobreposição lexical com uma referência, não-recusa, JSON válido, comprimento e varredura de PII — e retorna uma pontuação e uma justificativa em inglês simples para cada uma. O groundedness a verificação aqui é uma heurística de sobreposição lexical (palavras de conteúdo compartilhadas), não um detector semântico de alucinação; para verificação semântica, use o Content Safety Pro /v1/safety/groundedness endpoint.
• Nada no seu caminho de solicitação. A Brainiall nunca faz proxy do tráfego do seu modelo, portanto não adiciona latência nem se torna dependência de uma chamada ao vivo — você envia traces via POST após o fato, no seu próprio ritmo.
• Agnóstico de provedor. Um trace é apenas dados, então funciona com qualquer modelo ou provedor que sua aplicação chamar — não há framework ou fornecedor a combinar.

Para que serve

• Depure apps LLM em produção: mantenha um registro pesquisável de cada chamada, depois filtre direto para as que apresentaram erro ou lentidão quando algo parecer errado.
• Custo e rastreamento de tokens: acumula contagem de tokens e custo por chamada em um total corrente por modelo, para que a fatura de LLM nunca seja surpresa.
• Monitoramento de latência: acompanhe p50, p95 e latência máxima em uma janela e receba alertas quando um modelo ou mudança de prompt empurrar a cauda para fora.
• Testes e avaliações de regressão: pontue respostas do modelo com checagens heurísticas rápidas e determinísticas no CI, e falhe o build quando a relevância ou sobreposição com a referência cair.
• Verificações de sobreposição RAG: passe o contexto recuperado como referência e meça quantas de suas palavras de conteúdo uma resposta reutiliza — um sinal léxico rápido e determinístico. Para uma verificação semântica de se a resposta é de fato apoiada pelo contexto (com o trecho de apoio e quaisquer contradições apontadas), use o Content Safety Pro /v1/safety/groundedness endpoint.
• Uma fatura, uma chave: mesma API key da Brainiall e cobrança por uso do restante do catálogo — sem fornecedor de observabilidade separado para contratar.

Press Kit e Recursos

O que os revisores, integradores e equipes de contratação geralmente pedem.

Mais APIs especializadas

Mesma API key única, mesma cobrança por uso, problema diferente resolvido.

Document AIOCR e extração estruturada de documentos

Brainiall Content GuardTriagem de políticas para texto e imagem

Brainiall Vision TaggerMarcação de objetos e cenas para imagens

Brainiall IdentityVerificações de face match, liveness e deepfake