TensorRT-LLM

3ステップで試す

1. 1

   固定版の公開コンテナーを取得する

   対応するNVIDIA GPU、NVIDIA Container Toolkit、十分なGPUメモリーと保存容量を備えたLinuxで、v1.2.1の公式イメージを取得します。

   docker pull nvcr.io/nvidia/tensorrt-llm/release:1.2.1コピー
2. 2

   試す要求を作る

   作業ディレクトリを作り、公開モデルTinyLlama-1.1B-Chat-v1.0へ送る要求を保存します。モデルのライセンスと利用条件を別に確認してください。

   mkdir trtllm-tinyllama-demo && cd trtllm-tinyllama-demo && printf '%s\n' '{' ' "model": "TinyLlama/TinyLlama-1.1B-Chat-v1.0",' ' "messages": [{"role": "user", "content": "Reply with hello."}],' ' "max_tokens": 16' '}' > request.jsonコピー
3. 3

   起動、準備確認、推論、終了を一度に行う

   名前を固定せずにコンテナーを起動し、取得できたコンテナーIDだけを終了します。/healthは各要求2秒、5秒間隔で60回まで（上限約7分）、準備完了後の推論は1回だけ120秒に制限し、応答をtinyllama-response.jsonへ保存します。準備できなければ推論しません。

   ( cid=''; cleanup() { if test -n "$cid"; then docker rm -f "$cid" >/dev/null 2>&1 || true; fi; }; trap cleanup EXIT INT TERM; cid=$(docker run -d --rm --ipc host --gpus all --ulimit memlock=-1 --ulimit stack=67108864 -p 127.0.0.1::8000 nvcr.io/nvidia/tensorrt-llm/release:1.2.1 trtllm-serve "TinyLlama/TinyLlama-1.1B-Chat-v1.0") || exit 1; port=$(docker port "$cid" 8000/tcp | sed -n 's/.*://p') || exit 1; test -n "$port" || exit 1; ready=0; for attempt in 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60; do if curl -fsS --connect-timeout 1 --max-time 2 "http://127.0.0.1:$port/health" -o health.txt; then ready=1; break; fi; sleep 5; done; test "$ready" = 1 || exit 1; curl -fsS --connect-timeout 2 --max-time 120 -X POST "http://127.0.0.1:$port/v1/chat/completions" -H 'Content-Type: application/json' --data-binary @request.json -o tinyllama-response.json || exit 1; test -s tinyllama-response.json )コピー

Built with

• Python

カテゴリとタグ

GitHubデータ

このOSSの使い方や活用事例をMarkdownで投稿できます。管理者が承認した後に公開されます。

あわせて探訪

• Crawl4AI84,764 Stars

  共通タグ 1件 · 共通カテゴリ 2件 · 同じ言語

  browser renderingしたWebをLLM-ready Markdown/JSONへ変換するPython crawler

  Python
• AutoGen61,263 Stars

  共通タグ 1件 · 共通カテゴリ 2件 · 同じ言語

  役割の異なるAIエージェントを会話とイベントで連携させ、複数段階の処理を構築するフレームワーク

  Python
• LiteLLM60,131 Stars

  共通タグ 1件 · 共通カテゴリ 2件 · 同じ言語

  100以上のLLM providerをOpenAI互換interfaceへ統一し、routing・cost・guardrail・loggingをAI Gatewayへ集約する

  Python
• CrewAI59,348 Stars

  共通タグ 1件 · 共通カテゴリ 2件 · 同じ言語

  role-based Crewとevent-driven Flowを組み合わせ、multi-agent automationを構築する

  Python
• Aider49,381 Stars

  共通タグ 1件 · 共通カテゴリ 2件 · 同じ言語

  リポジトリー全体の文脈を使ってターミナルからコードを編集する

  Python
• smolagents29,676 Stars

  共通タグ 1件 · 共通カテゴリ 2件 · 同じ言語

  コードでツールを呼び出すAIエージェントを、少ない抽象化で組み立てるPythonライブラリ

  Python