Firecrawl

検索結果からページ本文、サイト全体のクロールまでを同じAPIで扱う

FirecrawlにはSearch、Scrape、Crawl、Map、Batch Scrapeなどのエンドポイントがあり、検索結果の本文取得、単一URLのMarkdown化、サイト配下の一括取得、URL発見、大量URLの非同期処理を同じサービスへ寄せられます。出力はLLMへ渡しやすいMarkdownだけでなく、HTML、スクリーンショット、構造化JSONにも対応し、Web上のPDFやDOCXなどの解析もREADMEで案内されています。RAGの取り込み前処理や、競合調査、ナレッジ収集のように『Webから取って整える』処理を個別実装せずに済ませたい場面で使いやすい構成です。

出典：[1]

静的取得だけでなく、クリックや入力が必要なページを操作してから抽出する

Interactでは、いったん取得したページに対してクリック、スクロール、文字入力、待機、キー操作などを実行したうえで情報を取り出せます。さらにAgent APIではURLを事前に指定せず、『何を探したいか』を自然言語で渡して検索・移動・取得まで進める使い方も用意されています。MCP serverやCLI/Skillも提供されているため、Claude CodeやOpenCodeなどのエージェントからWeb調査機能として接続しやすいのも特徴です。

出典：[1]

RAG、AIエージェント、調査自動化でWeb取得部分を共通基盤にしたい開発者へ

自社のAI機能でWeb検索結果やドキュメントを取り込みたい、競合サイトを定期巡回したい、ユーザー指定URLをMarkdownへ変換してLLMに渡したい、といった開発に向きます。特に、対象サイトごとにPlaywrightスクリプトやプロキシ、リトライ、JavaScript描画待ちを個別実装するより、取得部分をAPIとして切り出したいチームと相性があります。Hosted版を使えば運用負荷を減らせる一方、取得処理やデータ保持を自分で管理したい場合はセルフホストも選べます。

出典：[1][2]

セルフホストは単一コンテナではなく、認証・永続化・キューまで含めたWeb取得基盤の運用になる

公式のセルフホスト構成は、Firecrawl APIとworkerに加えてPlaywright、Redis、RabbitMQ、NuQ PostgreSQLなど複数サービスを動かします。READMEにあるHosted版のような『プロキシやオーケストレーションを任せる』体験と、自分で運用するセルフホストは同じ負荷ではありません。公式SELF_HOST.mdも、デフォルト構成は本番アーキテクチャではなく、外部公開前に認証、TLS、ネットワーク制御、永続化、バックアップ、監視、スケーリングを設計する必要があると明記しています。デフォルトAPIは認証なしで始める構成のため、そのままインターネットへ公開すべきではありません。

Firecrawl本体はGNU AGPL v3です。改変版をネットワーク経由でユーザーへ提供する場合には、AGPL特有のソース提供義務が関係するため、社内利用・SaaS組み込み・再配布など用途に応じてライセンス条件を確認してください。また、クロール対象サイトの利用規約、robots方針、著作権、個人情報、アクセス負荷などはFirecrawlのライセンスとは別の問題で、取得できることと取得してよいことは同義ではありません。

出典：[2][3]