Brainiall Web
Convertir la web abierta en datos limpios y estructurados

Cómo comparamos

El web scraping se vende como una API de rastreo medida por créditos (Firecrawl), una API de obtención de HTML facturada por llamada (ScrapingBee), una plataforma de automatización por unidades de cómputo (Apify) o una suite empresarial de recolección de datos (Bright Data). Los hiperescaladores no ofrecen ninguna API general de scraping o rastreo. Brainiall es una llamada REST por trabajo —scrape, crawl, map o search—, con precio por operación, autoservicio desde la primera llamada y ética por diseño.

Los precios son aproximaciones de lista a modo de orientación, no cotizaciones: la mayoría de los proveedores de scraping cobran por créditos o suscripción, así que las cifras por operación son estimaciones. Verifica siempre los términos vigentes de cada proveedor.

Precios

Un precio único por operación para cada trabajo: scrape, cada página rastreada, map y search cuentan igual. El nivel gratuito alcanza para conectar datos web a un pipeline real antes de pagar.

PAYG: USD 0.0015 / operación (motor Brainiall Web): un scrape, cada página de un crawl, un map y un search se facturan igual. Sin gasto mínimo ni contrato: la misma API key y facturación por uso que el resto del catálogo.

Cuatro endpoints

# 1. Scrape — one URL into clean Markdown + links + metadata
POST https://api.brainiall.com/v1/web/scrape
  body: {"url": "https://example.com", "formats": ["markdown","links","metadata"]}
  -> {"url": "https://example.com", "title": "Example Domain",
      "markdown": "# Example Domain\n\nThis domain is for use in ...",
      "links": ["https://www.iana.org/domains/example"],
      "metadata": {"description": "...", "lang": "en"},
      "engine": "Brainiall Web engine"}

# 2. Crawl — breadth-first within one site, bounded by page + depth caps
POST https://api.brainiall.com/v1/web/crawl
  body: {"url": "https://example.com/docs", "max_pages": 8, "max_depth": 2}
  -> {"start_url": "...", "pages_crawled": 8,
      "pages": [{"url": "...", "title": "...", "markdown": "...", "depth": 0}],
      "skipped": [{"url": "...", "reason": "robots.txt disallow"}]}

# 3. Map — enumerate a site's URLs from its sitemap + same-origin links
POST https://api.brainiall.com/v1/web/map
  body: {"url": "https://example.com", "limit": 50}
  -> {"site": "https://example.com", "url_count": 50,
      "urls": ["https://example.com/", "..."], "source": "sitemap"}

# 4. Search — a query into a ranked list of web results
POST https://api.brainiall.com/v1/web/search
  body: {"query": "open source web scraping", "max_results": 10}
  -> {"query": "...", "result_count": 10,
      "results": [{"rank": 1, "title": "...", "url": "...", "snippet": "..."}]}

Cada endpoint es una sola llamada REST síncrona. crawl and map aceptan límites de páginas y profundidad para que un trabajo siempre termine en tiempo acotado — y el crawl permanece en el sitio de origen, sin salir del dominio.

Cómo funciona la Brainiall Web

Una sola llamada hace la captura, limpieza y estructuración: obtienes datos, no HTML crudo por desenredar.

• El contenido principal, no texto repetitivo. Una pasada de contenido principal elimina la navegación, los anuncios, los banners de cookies y los pies de página, conserva el artículo, documento o post, y lo convierte a Markdown limpio listo para alimentar un LLM o un índice de búsqueda.
• Rastreos acotados. Un crawl recorre un sitio en amplitud dentro de los límites de páginas y profundidad y un presupuesto de tiempo total, se mantiene en el mismo origen e informa cada URL que omitió y por qué.
• Mapeo basado en sitemap. map reads sitemap.xml — incluye índices de sitemap anidados — y recurre al descubrimiento de enlaces del mismo origen cuando un sitio no publica sitemap.
• Ética por construcción. Cada URL objetivo se verifica contra el robots.txt Antes de cualquier solicitud, se respeta el crawl-delay publicado, y un CAPTCHA o desafío de detección de bots se reporta como bloqueado — nunca resuelto ni evadido.
• Seguro de forma predeterminada. Se rechazan las URL que resuelven a direcciones privadas, loopback o internas, de modo que el endpoint no puede dirigirse contra tu propia infraestructura.

¿Para qué sirve?

• Pipelines de LLM y RAG: convierte sitios de documentación, artículos y bases de conocimiento en contexto Markdown limpio para recuperación y generación.
• Investigación de mercado y competencia: extrae páginas de precios, catálogo y noticias de forma programada y aliméntalas directamente al análisis.
• Bases de conocimiento: rastrea un sitio de documentación completo en un único corpus consultable y lo mantiene actualizado.
• Enriquecimiento de leads y contenidos: extraer datos del sitio público de una empresa para obtener hechos estructurados que enriquezcan un CRM o un conjunto de datos.
• Monitoreo de cambios: vuelve a hacer scrape de una página con cierta cadencia y compara el Markdown (diff) para detectar cambios.
• Una factura, una clave: misma API key de Brainiall y facturación por uso que el resto del catálogo — sin contratar un proveedor de scraping aparte.

Kit de prensa y recursos

Lo que los revisores, integradores y equipos de contratación suelen pedir.

Más APIs especializadas

La misma clave única de API, los mismos precios basados en el uso, un problema distinto resuelto.

Brainiall Content GuardFiltrado de políticas de texto e imagen

Document AIOCR y extracción estructurada de documentos

Brainiall Vision TaggerEtiquetado de objetos y escenas en imágenes

Brainiall IdentityCoincidencia facial, prueba de vida y detección de deepfakes