Brainiall Web
オープンウェブを清潔で構造化されたデータに変換する

どのように比較するか

Web scraping は、クレジット 測定 クラウル API (Firecrawl) として販売され、呼びかけごとに請求される HTML フェッチ API (ScrapingBee) 、コンピュータ ユニット 自動化 プラットフォーム (Apify) または 企業 データ 収集 スイート (Bright Data) です。

価格はオリエンテーションのためのリスト価格のアプローチであり、引用ではありません - ほとんどの売り手はクレジットまたはサブスクリプションによって価格を割り当てているので、取引ごとに数字は推定です 常に各売り手の現在の条件をチェックします。

価格

すべての仕事のための1回のオペレーティング価格 - スクリプト、すべてのスクリプトページ、地図と検索はすべて同じを計算します。

PAYG: $0.0015 / オペレーション (Brainiall Web エンジン) - スクラップ、クロールの各ページ、地図と検索が同じで請求されます. 最低費用はありません、契約はありません - 同じ単一の API キーと使用ベースの請求は、カタログの残りと同じです。

4 エンドポイント

# 1. Scrape — one URL into clean Markdown + links + metadata
POST https://api.brainiall.com/v1/web/scrape
  body: {"url": "https://example.com", "formats": ["markdown","links","metadata"]}
  -> {"url": "https://example.com", "title": "Example Domain",
      "markdown": "# Example Domain\n\nThis domain is for use in ...",
      "links": ["https://www.iana.org/domains/example"],
      "metadata": {"description": "...", "lang": "en"},
      "engine": "Brainiall Web engine"}

# 2. Crawl — breadth-first within one site, bounded by page + depth caps
POST https://api.brainiall.com/v1/web/crawl
  body: {"url": "https://example.com/docs", "max_pages": 8, "max_depth": 2}
  -> {"start_url": "...", "pages_crawled": 8,
      "pages": [{"url": "...", "title": "...", "markdown": "...", "depth": 0}],
      "skipped": [{"url": "...", "reason": "robots.txt disallow"}]}

# 3. Map — enumerate a site's URLs from its sitemap + same-origin links
POST https://api.brainiall.com/v1/web/map
  body: {"url": "https://example.com", "limit": 50}
  -> {"site": "https://example.com", "url_count": 50,
      "urls": ["https://example.com/", "..."], "source": "sitemap"}

# 4. Search — a query into a ranked list of web results
POST https://api.brainiall.com/v1/web/search
  body: {"query": "open source web scraping", "max_results": 10}
  -> {"query": "...", "result_count": 10,
      "results": [{"rank": 1, "title": "...", "url": "...", "snippet": "..."}]}

すべての端点は、同期REST通話の1つです。 crawl and map ページと深さの制限を取るので、仕事は常に限られた時間で終わり、クラウルは起源サイトに残り、ドメインを離れることはありません。

Brainiall Web がどのように機能するか

1つの呼び出しは、タッチング、クリーニング、構造化を行います - あなたはデータを取得し、原料のHTMLを無角にするのではありません。

• 主なコンテンツ、ボイラープレートではない。 主なコンテンツパスは、ナビゲーション、広告、クッキーバナー、足跡をストリップし、記事、ドックまたは投稿を保存し、その後マークダウンをクリアして、LLMまたは検索インデックスを供給する準備ができています。
• 限られたクラウド A crawl walks a site width-first within page and depth caps and a wall-time budget, remains the same-origin, and reports every URL it had to skip and why. ウェブサイトの幅は、ページと深さのカップと壁時間予算の中で最初に行き、同じ起源であり、それを乗り越えなければならなかったすべてのURLを報告します。
• マッピング・マッピング map reads sitemap.xml ナストされたサイトマップインデックスを含み、サイトがサイトマップを公開しない場合、同じ起源のリンクの発見に戻ります。
• 建設による倫理 すべてのターゲットURLがサイトに対してチェックされます。 robots.txt 何らかのフェッチの前に、公開されたクラウル遅延が敬意を表し、CAPTCHAまたはボット検出の課題がブロックされていると報告されます - 決して解決されず、過失されません。
• デフォルトで安全 プライベート、ループバック、または内部アドレスに解決するURLは拒否されますので、最終点は決して自分のインフラストラクチャに逆転することはできません。

何のためにあるのか

• LLM&RAG パイプライン: ドキュメンタリーサイト、記事、および知識ベースをリリースおよび生成のための純粋なマークダウンコンテキストに変換します。
• 市場・競争研究: スケジュールに価格、カタログ、ニュースページを引き出し、それらを分析に直接供給します。
• 知識ベース: 全ての文書サイトを単一の検索可能なコルプスにクラウドし、それを新鮮に保つ。
• リーダー&コンテンツの豊かさ: 企業の公開サイトを構造化された事実のためにスキャンして、CRMまたはデータセットを豊かにします。
• 変更監視: カデンス上のページを再スキャップし、変更されたものをキャプチャするためにマークダウンをダウンロードします。
• ひとつ、ひとつの鍵: 同じ Brainiall API キーと使用ベースの請求書は、カタログの残りと同様に - 別々のスクリプト サプライヤーが購入しない。

プレスキット&リソース

レビュー者、統合者、および買収チームが通常求めているもの。

より専門 APIs

同じ単一のAPIキー、同じ使用ベースの価格、異なる問題が解決されました。

Brainiall Content Guardテキスト&イメージポリシースクリーニング

文書 AIOCR&文書からの構造化された抽出

Brainiall Vision Taggerオブジェクト&シーンタグ 画像

Brainiall Identityフェイス・マッチ、活力&Deepfakeチェック