Scrapy

3ステップで試す

1. 1

   Python環境を分ける

   Python 3.10以上とmacOSまたはLinuxのPOSIXシェルを前提に、試行用の仮想環境を作成して有効にします。以降も同じ端末と作業ディレクトリを使います。

   python3 -m venv scrapy-demo-env && . scrapy-demo-env/bin/activateコピー
2. 2

   Scrapy 2.19.0を導入する

   確認した固定版を仮想環境へ導入し、プロジェクト作成コマンドを使える状態にします。

   python -m pip install "Scrapy==2.19.0"コピー
3. 3

   Spiderを作成して登録を確かめる

   外部サイトへ要求を送らずにプロジェクトとexample.com向けSpiderを生成し、Scrapyがexampleを認識できることを確認します。

   scrapy startproject tutorial && cd tutorial && scrapy genspider example example.com && test "$(scrapy list)" = "example"コピー

Built with

• Python

カテゴリとタグ

GitHubデータ

このOSSの使い方や活用事例をMarkdownで投稿できます。管理者が承認した後に公開されます。

あわせて探訪

• Browser Use117,105 Stars

  共通タグ 1件 · 共通カテゴリ 1件 · 同じ言語

  LLM Agentに実ブラウザ操作を与え、Python・CLI・Hosted Cloudを用途別に選べるbrowser automation layer

  Python
• Home Assistant91,238 Stars

  共通タグ 1件 · 共通カテゴリ 1件 · 同じ言語

  照明・sensor・家電・serviceをlocal-firstなentity/automationへ統合するhome automation engine

  Python
• Apache Superset75,033 Stars

  共通タグ 1件 · 共通カテゴリ 1件 · 同じ言語

  no-code可視化・SQL Lab・semantic layerにMCPを加えたOSS BIプラットフォーム

  Python
• OpenBB73,839 Stars

  共通タグ 1件 · 共通カテゴリ 1件 · 同じ言語

  金融data providerを一度接続し、Python・REST・MCP・AIへ共通data layerとして配る

  Python
• Ansible70,841 Stars

  共通タグ 1件 · 共通カテゴリ 1件 · 同じ言語

  PlaybookとCollectionでサーバー・クラウド・ネットワーク運用を自動化する

  Python
• AutoGen61,254 Stars

  共通タグ 1件 · 共通カテゴリ 1件 · 同じ言語

  役割の異なるAIエージェントを会話とイベントで連携させ、複数段階の処理を構築するフレームワーク

  Python