Brainiall Web
Transformer le web ouvert en données propres et structurées

Comment nous comparons

Web scraping est vendu comme une API de crawl mesurée par crédit (Firecrawl), une API HTML-fetch facturée par appel (ScrapingBee), une plate-forme d'automatisation d'unité informatique (Apify), ou une suite de collecte de données d'entreprise (Bright Data). Les hyperscalers envoient aucune API générale de crawl ou de crawling. Brainiall est un appel REST par travail - scrap, crawl, carte ou recherche - prix par opération, auto-service depuis la première appel, et éthique par construction.

Les prix sont des approximations de prix de liste pour l'orientation, pas des quotes - la plupart des vendeurs déchirent le prix par crédits ou souscription, donc les chiffres par opération sont des estimations.

prix

Un prix par opération pour chaque emploi — scrape, chaque page parcourue, la carte et la recherche comptent tous les mêmes. le niveau gratuit est suffisant pour envoyer les données web dans un pipeline réel avant de payer quoi que ce soit.

PAYG: $0.0015 / opération (Brainiall Web engine) - un scrap, chaque page d'un crawl, une carte et une recherche sont facturés les mêmes. pas de dépenses minimales, pas de contrat - la même clé API unique et facturation basée sur l'utilisation que le reste du catalogue.

Quatre endroits

# 1. Scrape — one URL into clean Markdown + links + metadata
POST https://api.brainiall.com/v1/web/scrape
  body: {"url": "https://example.com", "formats": ["markdown","links","metadata"]}
  -> {"url": "https://example.com", "title": "Example Domain",
      "markdown": "# Example Domain\n\nThis domain is for use in ...",
      "links": ["https://www.iana.org/domains/example"],
      "metadata": {"description": "...", "lang": "en"},
      "engine": "Brainiall Web engine"}

# 2. Crawl — breadth-first within one site, bounded by page + depth caps
POST https://api.brainiall.com/v1/web/crawl
  body: {"url": "https://example.com/docs", "max_pages": 8, "max_depth": 2}
  -> {"start_url": "...", "pages_crawled": 8,
      "pages": [{"url": "...", "title": "...", "markdown": "...", "depth": 0}],
      "skipped": [{"url": "...", "reason": "robots.txt disallow"}]}

# 3. Map — enumerate a site's URLs from its sitemap + same-origin links
POST https://api.brainiall.com/v1/web/map
  body: {"url": "https://example.com", "limit": 50}
  -> {"site": "https://example.com", "url_count": 50,
      "urls": ["https://example.com/", "..."], "source": "sitemap"}

# 4. Search — a query into a ranked list of web results
POST https://api.brainiall.com/v1/web/search
  body: {"query": "open source web scraping", "max_results": 10}
  -> {"query": "...", "result_count": 10,
      "results": [{"rank": 1, "title": "...", "url": "...", "snippet": "..."}]}

Chaque point de fin est un appel REST synchronique. crawl and map Prenez des limites de page et de profondeur afin qu'un travail se termine toujours dans un temps limité - et un crawl reste sur le site d'origine, jamais en dehors du domaine.

Comment fonctionne l’API Web

Un appel fait la fissure, le nettoyage et la structuration - vous obtenez les données, pas le HTML cru à l'écran.

• Le contenu principal, pas le boilerplate. Un contenu principal passe la navigation, les annonces, les bannières de cookies et les pieds et maintient l'article, le doc ou le post - puis le convertit à nettoyer Markdown prêt à nourrir un LLM ou un index de recherche.
• Les crawles limitées. Un crawl passe un site de largeur-premier à l'intérieur de la page et de la profondeur des capes et un budget de temps de mur, reste à l'origine, et rapporte chaque URL qu'il a dû échapper et pourquoi.
• Mapeur de l’écran. map reads sitemap.xml — y compris les indices de sitemap nés — et tombe de retour à la découverte de liens d’origine identique lorsque un site ne publie pas de sitemap.
• Éthique par construction. Chaque URL cible est vérifiée contre le site robots.txt Avant tout retard, le retard de crawl publié est honoré, et un CAPTCHA ou un défi de détection de bots est signalé comme bloqué - jamais résolu ou dépassé.
• Sécurité par défaut. Les URL qui se résoudent à des adresses privées, internes ou internes sont refusées, de sorte que le point de fin ne peut jamais être tourné contre votre propre infrastructure.

C’est pour quoi

• LLM et RAG pipelines: transformer les sites de documentation, les articles et les bases de connaissances dans un contexte net Markdown pour la récupération et la génération.
• Le marché et la recherche concurrentielle: jeter les prix, les catalogues et les pages d'actualités sur un calendrier et les nourrir directement dans l'analyse.
• Les bases de connaissancesCrawle un site de documentation entier dans un seul corps recherchable, puis gardez-le frais.
• Lead & enrichissement de contenu: scrapez le site public d'une entreprise pour des faits structurés pour enrichir un CRM ou un ensemble de données.
• Changement de surveillance: redémarrez une page sur une cadence et diffiez le Markdown pour capturer ce qui a changé.
• Un billet, une clé: la même clé de Brainiall API et la facturation basée sur l'utilisation que le reste du catalogue - aucun fournisseur de scraping séparé à acheter.

Kit de presse & ressources

Ce que les critiques, les intégrateurs et les équipes d'approvisionnement demandent généralement.

Plus de spécialités APIs

La même clé API unique, le même prix basé sur l'utilisation, différents problèmes résolus.

Brainiall Content GuardScreening de textes et d'images

Documents àOCR et extraction structurée des documents

Brainiall Vision TaggerObjet & scène pour les images

Brainiall IdentityFace match, vitesse et deepfake