OSS探訪

複数のLLMプロバイダーへの呼び出しを一つのAPIでルーティングし、再試行やガードレールを集約する

スコアの見方

OSS規模スコアはStars・Watchers・Forks・Contributorsを対数圧縮して重み付けした現在の規模指標(上限なし)です。発掘スコアは現在のOSS規模スコアから発掘時点のOSS規模スコアを引いた値、更新ペースは直近30日Commit数、成長モメンタムは直近の観測期間におけるOSS規模スコア差、OSS健全度は取得できた更新状況・Community Health・Releaseの0〜100評価です。

Stars
13,123
主要言語
TypeScript
ライセンス
MIT
リポジトリ最終更新
2026/05/25
ページ内ナビ

概要

Portkey AI Gatewayは、OpenAI互換の入口から複数のLLMやマルチモーダルモデルへリクエストを振り分けるGatewayです。retry、fallback、load balancing、条件付きrouting、guardrailsを一つの層へまとめ、Node.js、Docker、Cloudflare Workersなど複数の形で配置できます。

特徴と向いている用途

公式資料に基づく紹介・実機未検証 · 内容確認日:

主な特徴

複数providerを一つのAPIへまとめる

OpenAI互換の呼び出し形式を使いながら、OpenAI、Anthropic、Geminiなど複数providerへ接続できます。アプリ側のprovider切り替え処理をGatewayへ寄せられます。

出典:[1]

retry・fallback・load balancingでLLM呼び出しの耐障害性を上げる

失敗時の自動retry、別provider/modelへのfallback、複数keyやprovider間のload balancing、timeoutなどをrouting configへまとめられます。

出典:[1]

入力・出力guardrailと利用状況の観測をGateway層へ集約する

guardrails、logging、usage analyticsなどをGateway側へ置けるため、複数アプリで共通の制御点を作れます。

出典:[1]

向いている用途

複数モデルを使うAIアプリでprovider差分と障害対応を共通化したい場合に向く

モデル切り替え、fallback、policy適用を各applicationへ重複実装せず、共通Gatewayとして扱いたいチームの比較対象になります。

出典:[1]

導入前の確認

provider credentialをGatewayへ集約する設計を先に決める

Gateway経由のrequestにはprovider用credentialが必要です。secretの保管、権限分離、logへ残す情報、外部providerへ送るdataを設計してから公開運用します。

出典:[1][2]

1.x安定版と2.0 pre-releaseを混同しない

最新のstable GitHub releaseはv1.15.2です。一方READMEはGateway 2.0をpre-releaseとして案内しているため、productionで使うbranch・image・package versionを明示的に固定します。

出典:[3][1]

OSS版とEnterprise/hosted機能の境界を確認する

READMEではenterprise versionやhosted service向け機能も案内されています。必要なgovernance、observability、security機能がOSS版に含まれるかを導入前に確認します。

出典:[1]

参考にした公式資料

  1. [1]Portkey AI Gateway README(2026-10-03)
  2. [2]Portkey Gateway deployment guide(2026-10-03)
  3. [3]Portkey AI Gateway v1.15.2 release(2026-10-03)
  4. [4]Portkey AI Gateway MIT license(2026-10-03)
編集部からの補足

複数モデルを使い分けるアプリで、providerごとの接続処理や障害時fallbackを一箇所に寄せたい場合に検討しやすいGatewayです。READMEでは2.0がpre-releaseとして案内されているため、安定運用では1.x系と2.0系の採用範囲を明確にしてください。

3ステップで試す

  1. 1

    安定版Gatewayを起動

    Node.js/npm環境でstable v1.15.2を起動します。APIはhttp://localhost:8787/v1で待ち受けます。

    npx @portkey-ai/gateway@1.15.2
  2. 2

    Gateway Consoleを開く

    ローカルのConsoleを開き、Gatewayが起動していることを確認します。

    Open http://localhost:8787/public/
  3. 3

    自分のprovider keyで1件送信

    OPENAI_API_KEYなど利用するproviderのcredentialを環境変数から渡し、Gateway経由の応答を確認します。

    curl http://localhost:8787/v1/chat/completions -H 'Content-Type: application/json' -H 'x-portkey-provider: openai' -H "Authorization: Bearer $OPENAI_API_KEY" -d '{"model":"gpt-4o-mini","messages":[{"role":"user","content":"Say hello"}]}'
公式READMEで確認

成長

成長の推移 · 直近30日

13,123 Stars

推移データを蓄積中です。

開発アクティビティ

直近90日・週次

Commit(直近30日)
0
Open PR
160

開発アクティビティを蓄積中です。

Built with

カテゴリとタグ

GitHubデータ

GitHubのデータGitHubの詳細データを見る

GitHub Topics

  • gateway
  • generative-ai
  • llmops
  • llms
  • ai-gateway
  • langchain
  • openai
  • hacktoberfest
  • llm
  • llm-gateway
  • mcp
  • mcp-client
Stars
13,123
Forks
1,327
Watchers
63
Open Issues
124
Contributors
102
所有者種別
Organization
主要言語
TypeScript
ライセンス
MIT
リポジトリ最終更新
2026/05/25

このOSSの使い方や活用事例をMarkdownで投稿できます。管理者が承認した後に公開されます。

情報の誤りを報告

掲載内容に誤りや古い情報があればお知らせください。

このページを読んで、次に何をすればよいか分かりましたか?