Brainiall Web
Transforme a web aberta em dados limpos e estruturados

Como nos comparamos

Web scraping é vendido como uma API de crawl medida por créditos (Firecrawl), uma API de fetch de HTML cobrada por chamada (ScrapingBee), uma plataforma de automação por unidades de computação (Apify) ou uma suíte corporativa de coleta de dados (Bright Data). Os hyperscalers não oferecem nenhuma API geral de scraping ou crawling. A Brainiall é uma chamada REST por job — scrape, crawl, map ou search — com preço por operação, self-serve desde a primeira chamada e ética por construção.

Os preços são aproximações de tabela para orientação, não cotações — a maioria dos fornecedores de scraping cobra por créditos ou assinatura, então valores por operação são estimativas. Sempre verifique os termos atuais de cada fornecedor.

Preços

Um preço por operação para cada job — scrape, cada página rastreada, map e search contam igual. O tier gratuito basta para integrar dados da web em um pipeline real antes de pagar.

PAYG: US$ 0,0015/operação (Brainiall Web engine) — um scrape, cada página de um crawl, um map e uma search são cobrados igual. Sem gasto mínimo, sem contrato — mesma API key única e cobrança por uso do resto do catálogo.

Quatro endpoints

# 1. Scrape — one URL into clean Markdown + links + metadata
POST https://api.brainiall.com/v1/web/scrape
  body: {"url": "https://example.com", "formats": ["markdown","links","metadata"]}
  -> {"url": "https://example.com", "title": "Example Domain",
      "markdown": "# Example Domain\n\nThis domain is for use in ...",
      "links": ["https://www.iana.org/domains/example"],
      "metadata": {"description": "...", "lang": "en"},
      "engine": "Brainiall Web engine"}

# 2. Crawl — breadth-first within one site, bounded by page + depth caps
POST https://api.brainiall.com/v1/web/crawl
  body: {"url": "https://example.com/docs", "max_pages": 8, "max_depth": 2}
  -> {"start_url": "...", "pages_crawled": 8,
      "pages": [{"url": "...", "title": "...", "markdown": "...", "depth": 0}],
      "skipped": [{"url": "...", "reason": "robots.txt disallow"}]}

# 3. Map — enumerate a site's URLs from its sitemap + same-origin links
POST https://api.brainiall.com/v1/web/map
  body: {"url": "https://example.com", "limit": 50}
  -> {"site": "https://example.com", "url_count": 50,
      "urls": ["https://example.com/", "..."], "source": "sitemap"}

# 4. Search — a query into a ranked list of web results
POST https://api.brainiall.com/v1/web/search
  body: {"query": "open source web scraping", "max_results": 10}
  -> {"query": "...", "result_count": 10,
      "results": [{"rank": 1, "title": "...", "url": "...", "snippet": "..."}]}

Cada endpoint é uma única chamada REST síncrona. crawl and map aplica limites de páginas e profundidade para que um job sempre termine em tempo limitado — e o crawl permanece no site de origem, sem sair do domínio.

Como funciona Brainiall Web

Uma chamada faz o fetch, a limpeza e a estruturação — você recebe dados, não HTML bruto para desembaraçar.

• O conteúdo principal, não o boilerplate. Uma etapa de extração de conteúdo principal remove navegação, anúncios, banners de cookies e rodapés, mantém o artigo, doc ou post e converte para Markdown limpo, pronto para alimentar um LLM ou índice de busca.
• Rastreamentos limitados. Um crawl percorre o site em largura, respeitando limites de páginas, profundidade e tempo total, mantém-se na mesma origem e reporta cada URL ignorada e o motivo.
• Mapeamento com reconhecimento de sitemap. map reads sitemap.xml — incluindo índices de sitemap aninhados — e recorre à descoberta de links de mesma origem quando o site não publica sitemap.
• Ética pela construção. Cada URL de destino é verificada em relação ao site robots.txt antes de qualquer fetch, o crawl-delay publicado é respeitado, e um CAPTCHA ou desafio de detecção de bot é reportado como bloqueado — nunca resolvido ou contornado.
• Seguro por padrão. URLs que resolvem para endereços privados, loopback ou internos são recusadas, de modo que o endpoint não pode ser usado contra sua própria infraestrutura.

Para que serve

• Pipelines de LLM e RAG: converta sites de documentação, artigos e bases de conhecimento em contexto Markdown limpo para retrieval e geração.
• Pesquisa de mercado e competitividade: extraia páginas de preços, catálogo e notícias em uma agenda e envie diretamente para análise.
• Base de conhecimento: rastreie um site de documentação inteiro em um único corpus pesquisável e mantenha-o atualizado.
• Enriquecimento de leads e conteúdo: faz scraping do site público de uma empresa para extrair fatos estruturados e enriquecer um CRM ou dataset.
• Monitoramento de alterações: re-scrape uma página em uma cadência e faça diff do Markdown para detectar o que mudou.
• Uma fatura, uma chave: mesma chave de API Brainiall e cobrança por uso do restante do catálogo — sem contratar um fornecedor de scraping separado.

Press Kit e Recursos

O que os revisores, integradores e equipes de contratação geralmente pedem.

Mais APIs especializadas

Mesma chave de API, mesmo preço por uso, problema diferente resolvido.

Brainiall Content GuardTriagem de políticas de texto e imagem

Document AIOCR e extração estruturada de documentos

Brainiall Vision TaggerMarcação de objetos e cenas em imagens

Brainiall IdentityVerificações de correspondência facial, prova de vida e deepfake