Crawl4AI

RAGやagentで扱いやすいMarkdownとstructured dataを、browser rendering込みで抽出する

heading、table、code、citation hintsを保ったclean Markdownを生成し、Fit MarkdownやBM25 filteringでノイズを減らせます。LLM-driven extractionに加え、CSS/XPath selectorとschemaを使ったstructured JSON extractionにも対応します。

dynamic pageではJavaScript実行、lazy load、infinite scroll、iframe、screenshot、session、proxy、cookie、user scriptなどを制御でき、単純なHTTP fetchでは取りにくい画面も対象にできます。

出典：[2]

library・CLI・Docker/FastAPI serverを選べ、local workflowからAPI deploymentまで同じcrawlerを使える

Python packageだけでなくCLIを提供し、Docker imageではFastAPI serverとJWT authenticationを使ったAPI deploymentも可能です。v0.9.0以降はDocker APIがsecure-by-defaultとなり、authenticationやbind範囲が強化されています。

出典：[2][3]

RAG ingestion、research agent、site-to-Markdown、定期収集などWebをAI入力へ整形する用途に

Web contentをそのままLLMへ投げるのではなく、navigationやnoiseを落としたMarkdown／JSONへ整形してから検索・embedding・agent処理へ渡したい用途に向きます。browser制御が必要なdynamic siteと、schema抽出したい反復ページの両方を一つのtoolchainで扱いたい場合に有力です。

v0.9.3はsecurity release。Docker/APIやPDF処理を使う旧versionは更新を優先する

v0.9.3ではPDF処理経路のarbitrary file write、SSRF、DoSと、Docker Playgroundの2件のXSSを含む5件のcoordinated-disclosure advisoryが修正されています。新機能追加ではなくsecurity fix中心のreleaseなので、internet-facing deploymentやPDF処理を使う環境では旧versionを固定し続けない方が安全です。

出典：[2][3]

full browser crawlは強力な分、resource量・crawl範囲・外部contentのtrust boundaryを設計する

async browser pool、deep crawl、JavaScript実行、session/proxyなどを組み合わせると大量ページを処理できますが、対象siteと自環境のCPU・memory・network負荷も増えます。max pagesやconcurrency、cacheを明示し、必要な範囲にcrawlを制限する運用が適しています。

取得したWeb contentをRAGやagentへ渡す場合も、外部pageは自分が管理していない入力です。抽出結果をsystem instructionと混ぜず、dataとして扱う境界を保つ方が安全です。

出典：[2]