Brainiall Web
Umwandeln Sie das offene Web in saubere, strukturierte Daten

Wie wir vergleichen

Web Scraping verkauft sich als eine Kredit-Metered Crawl API (Firecrawl), eine HTML-Fetch API per Call (ScrapingBee), eine Computer-Einheit Automation-Plattform (Apify), oder eine Enterprise-Daten-Sammlung-Suite (Bright Data). Die Hyperscalers schieten keine allgemeine Web Scraping oder Crawling API überhaupt. Brainiall ist eine REST Call per Job - scrape, crawl, map oder search - preis per operation, self-serve von der ersten Call, und ethical by construction.

Preise sind Liste-Preis-Anstimmungen für Orientierung, nicht Quoten - die meisten Verkäufer-Preise durch Kredite oder Abonnements, so pro-Transaktion Zahlen sind Schätzungen.

Preise

Ein Preis pro Betrieb für jede Arbeit – Scrape, jede gezeichnete Seite, Karte und Suche alle zählen die gleiche. Die kostenlose Ebene reicht aus, um Webdaten in eine echte Pipeline zu wenden, bevor Sie etwas bezahlen.

PAYG: $0.0015 / Betrieb (Brainiall Web-Motor) - eine Schraube, jede Seite einer Schraube, eine Karte und eine Suche werden dieselbe berechnet. Keine Mindestkosten, keine Vertrag - die gleiche API-Schlüssel und Gebrauchsbasierte Rechnung wie der Rest des Katalogs.

4 Endpunkte

# 1. Scrape — one URL into clean Markdown + links + metadata
POST https://api.brainiall.com/v1/web/scrape
  body: {"url": "https://example.com", "formats": ["markdown","links","metadata"]}
  -> {"url": "https://example.com", "title": "Example Domain",
      "markdown": "# Example Domain\n\nThis domain is for use in ...",
      "links": ["https://www.iana.org/domains/example"],
      "metadata": {"description": "...", "lang": "en"},
      "engine": "Brainiall Web engine"}

# 2. Crawl — breadth-first within one site, bounded by page + depth caps
POST https://api.brainiall.com/v1/web/crawl
  body: {"url": "https://example.com/docs", "max_pages": 8, "max_depth": 2}
  -> {"start_url": "...", "pages_crawled": 8,
      "pages": [{"url": "...", "title": "...", "markdown": "...", "depth": 0}],
      "skipped": [{"url": "...", "reason": "robots.txt disallow"}]}

# 3. Map — enumerate a site's URLs from its sitemap + same-origin links
POST https://api.brainiall.com/v1/web/map
  body: {"url": "https://example.com", "limit": 50}
  -> {"site": "https://example.com", "url_count": 50,
      "urls": ["https://example.com/", "..."], "source": "sitemap"}

# 4. Search — a query into a ranked list of web results
POST https://api.brainiall.com/v1/web/search
  body: {"query": "open source web scraping", "max_results": 10}
  -> {"query": "...", "result_count": 10,
      "results": [{"rank": 1, "title": "...", "url": "...", "snippet": "..."}]}

Jedes Endpunkt ist ein Synchronic REST Call. crawl and map Nehmen Sie Seiten und Tiefe Grenzen, so dass ein Job immer in begrenztem Zeit abgeschlossen wird - und ein Crawl bleibt auf der Ursprungsseite, niemals außer-Domain wandern.

Wie Brainiall Web funktioniert

Ein Anruf macht die Fettung, die Reinigung und die Strukturierung – Sie erhalten Daten, nicht Roh HTML zu untangle.

• Haupt Inhalt, nicht Boilerplate. Ein Haupt-Content-Pass schneidet die Navigation, Werbung, Cookie-Banner und Füße und hält den Artikel, Dokumente oder Post - dann konvertiert es zu reinigen Markdown bereit, um einen LLM oder einen Suchindex zu füttern.
• begrenzte Crawl. Ein Crawl verläuft eine Site Breadth-First innerhalb der Seite und Tiefe Kappen und ein Wall-Time-Budget, bleibt der gleiche Ursprung, und berichtet über jede URL, die es zu überspringen musste und warum.
• Sitemap bewusst mappieren. map reads sitemap.xml — einschließlich vernetzten Sitemap-Indizes — und fällt zurück zur gleichen Ursprungs-Link-Entdeckung, wenn eine Website keine Sitemap veröffentlicht.
• Ethik durch Bau. Jede Ziel-URL wird gegen die Website kontrolliert robots.txt Vor jedem Fettch wird die veröffentlichte Crawl-Verzögerung geehrt, und ein CAPTCHA- oder Bot-Detektionsproblem wird gemeldet, dass es blockiert ist – nie gelöst oder verpasset.
• Safe durch Default. URLs, die auf private, loopback oder interne Adressen gelöst werden, werden abgelehnt, so dass der Endpunkt niemals gegen Ihre eigene Infrastruktur drehen kann.

Was ist es für

• LLM & RAG Pipelines: Umwandeln Sie Dokumentationswebsites, Artikel und Wissenbasen in einen sauberen Markdown-Kontext für Wiederherstellung und Erzeugung.
• Markt & Wettbewerbsforschung: ziehen Sie Preise, Katalog und News-Seiten auf einen Zeitplan und füttern sie direkt in die Analyse.
• Wissensgrundlagen: Crawl eine ganze Dokumentationsseite in einen einzelnen Suchbarkorpus, dann halten Sie es frisch.
• Lead & Content Verrichtung: die öffentliche Website eines Unternehmens für strukturierte Fakten abschrecken, um ein CRM oder ein Datensatz zu bereichern.
• Veränderung der Überwachung: eine Seite auf einer Kadenz neu schneiden und den Markdown verschieben, um das zu fangen, was sich geändert hat.
• Ein Buch, ein Schlüssel: die gleiche Brainiall API-Schlüssel und benutzungsbasierte Rechnungslegung wie der Rest des Katalogs – keine separaten Schraubverkäufer zu kaufen.

Pressemitteilung & Ressourcen

Welche Prüfer, Integratoren und Beschaffungsteams normalerweise fragen.

Mehr Spezialitäten APIs

Die gleiche API-Schlüssel, die gleiche Gebrauchsbasierte Preise, unterschiedliche Probleme gelöst.

Brainiall Content GuardText & Bildpolitik Screening

Dokumentation AIOCR & strukturierte Ausnahme von Dokumenten

Brainiall Vision TaggerObject & Scene-Tags für Bilder

Brainiall IdentityFace match, lebensfähigkeit & deepfake-checks