SGLang

3ステップで試す

1. 1

   Python環境を分ける

   Python 3.10以上、Linux、CUDA 13、sm80以上のNVIDIA GPUを前提に、試行用の仮想環境を有効にします。以降も同じ端末と作業ディレクトリを使います。

   python3 -m venv sglang-demo-env && . sglang-demo-env/bin/activateコピー
2. 2

   SGLang 0.5.21を導入する

   確認した固定版を仮想環境へ導入します。モデル本体は次の手順で公開されたQwenの小型モデルを取得するため、ネットワーク接続と十分な空き容量が必要です。

   python -m pip install "sglang==0.5.21"コピー
3. 3

   ローカル推論へ要求を送る

   公開モデルを127.0.0.1だけで起動し、1秒の接続・要求上限を持つ確認を最大60回、1秒間隔で行います。約120秒以内に準備できなければログを表示して失敗し、chat APIへは進みません。準備後の要求も30秒で打ち切り、空でない応答を確認します。サブシェルは成功・失敗のどちらでも終了時にサーバーを停止し、呼び出し元へtrapを残しません。外部公開用の認証確認ではありません。

   ( sglang serve --model-path qwen/qwen2.5-0.5b-instruct --host 127.0.0.1 --port 30000 > sglang.log 2>&1 & server_pid=$!; trap 'kill "$server_pid" 2>/dev/null || true; wait "$server_pid" 2>/dev/null || true' EXIT; ready=0; for attempt in 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60; do if curl -fsS --connect-timeout 1 --max-time 1 http://127.0.0.1:30000/health >/dev/null 2>&1; then ready=1; break; fi; kill -0 "$server_pid" 2>/dev/null || { cat sglang.log; exit 1; }; sleep 1; done; if test "$ready" != 1; then cat sglang.log; exit 1; fi; curl -fsS --connect-timeout 2 --max-time 30 http://127.0.0.1:30000/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"qwen/qwen2.5-0.5b-instruct","messages":[{"role":"user","content":"Reply with OK"}],"temperature":0,"max_tokens":8}' > response.json && python -c 'import json; data=json.load(open("response.json")); assert data["choices"][0]["message"]["content"].strip()' )コピー

Built with

• Python

カテゴリとタグ

GitHubデータ

このOSSの使い方や活用事例をMarkdownで投稿できます。管理者が承認した後に公開されます。

あわせて探訪

• Khoj37,559 Stars

  共通タグ 2件 · 共通カテゴリ 1件 · 同じ言語

  文書・Web・local/cloud LLMをRAG・Agent・Automationへまとめるpersonal AI

  Python
• Onyx32,323 Stars

  共通タグ 2件 · 共通カテゴリ 1件 · 同じ言語

  社内knowledgeをAI agentが使えるcontext layerへ変換する

  Python
• smolagents29,670 Stars

  共通タグ 2件 · 共通カテゴリ 1件 · 同じ言語

  コードでツールを呼び出すAIエージェントを、少ない抽象化で組み立てるPythonライブラリ

  Python
• Transformers166,931 Stars

  共通タグ 3件 · 共通カテゴリ 1件 · 同じ言語

  text・vision・audio・multimodal modelを共通AutoClass/Pipeline APIでload・inference・trainingするmodel-definition framework

  Python
• DeepSeek-V3104,507 Stars

  共通タグ 3件 · 共通カテゴリ 1件 · 同じ言語

  671B parameterのMoE LLMとFP8/multi-node inference向けreference implementationを公開する

  Python
• TRL19,450 Stars

  共通タグ 3件 · 共通カテゴリ 1件 · 同じ言語

  基盤モデルの教師あり微調整と選好学習を、共通のTrainerとCLIで進めるPythonライブラリ

  Python