OSS探訪

複数LLM providerを一つのAPI gatewayへ集約しcostとusageを可視化する

スコアの見方

OSS規模スコアはStars・Watchers・Forks・Contributorsを対数圧縮して重み付けした現在の規模指標(上限なし)です。発掘スコアは現在のOSS規模スコアから発掘時点のOSS規模スコアを引いた値、更新ペースは直近30日Commit数、成長モメンタムは直近の観測期間におけるOSS規模スコア差、OSS健全度は取得できた更新状況・Community Health・Releaseの0〜100評価です。

Stars
1,666
主要言語
TypeScript
ライセンス
未判定
リポジトリ最終更新
2026/09/29
ページ内ナビ

概要

LLM GatewayはOpenAI互換interfaceを提供しながら、OpenAI、Anthropic、Google Vertex AI等へのrequest routing、provider key管理、token/cost analytics、performance monitoringをまとめるAI gatewayです。

特徴と向いている用途

公式資料に基づく紹介・実機未検証 · 内容確認日:

主な特徴

OpenAI互換APIから複数providerへroutingする

application側のinterfaceを揃えたまま、複数LLM provider/modelへrequestを送るgatewayとして動作します。

出典:[2]

token・cost・latencyとprovider keyを集中管理する

request数、token、response time、cost等をtrackingし、provider credentialをgateway側へ集約できます。

出典:[2]

向いている用途

LLM provider切替とobservabilityをapplicationから分離したい場合に向く

providerごとのAPI差やcredential管理をbackend gatewayへ寄せ、複数applicationで共通化したい用途に適します。

出典:[2]

導入前の確認

self-hostではPostgreSQL/Redis等を含む複数serviceを運用する

unified containerやdevelopment setupはdatabase、Redis、dashboard、API、gateway等のcomponentを含むため、secretとpersistent volumeの管理が必要です。

出典:[2]

coreとee/ではlicenseが異なる

LICENSEはee/以外をAGPLv3とし、ee/LICENSEはproduction利用にEnterprise subscription/licenseを要求しています。利用するpathとfeatureごとに条件を確認します。

出典:[3][4]

参考にした公式資料

  1. [1]theopenco/llmgateway repository(2026-09-30)
  2. [2]LLM Gateway README(2026-09-30)
  3. [3]LLM Gateway core license(2026-09-30)
  4. [4]LLM Gateway Enterprise license(2026-09-30)
  5. [5]LLM Gateway v1.19.0 release(2026-09-30)
編集部からの補足

LLM GatewayはOpenAI/Anthropic/Vertex AI等を共通APIの後ろへまとめるgatewayです。coreはAGPLv3ですが、ee/配下は別のEnterprise Licenseで、multi-organization administration等の商用機能が含まれます。repository全体を単一OSS licenseとして扱わない点に注意が必要です。

3ステップで試す

  1. 1

    v1.19.0をclone

    stable release tagを固定して取得します。

    git clone --depth 1 --branch v1.19.0 https://github.com/theopenco/llmgateway.git && cd llmgateway
  2. 2

    gateway secretを生成

    self-hosted instanceで使う認証・API key hash用secretを生成します。

    export LLM_GATEWAY_SECRET="$(openssl rand -base64 32 | tr -d "\n")" export GATEWAY_API_KEY_HASH_SECRET="$(openssl rand -base64 32 | tr -d "\n")"
  3. 3

    unified containerを起動

    PostgreSQL・Redisを含むunified構成を起動します。persistent dataはDocker named volumeで管理します。

    ./scripts/run-unified-container.sh
公式READMEで確認

成長

成長の推移 · 直近30日

1,666 Stars

推移データを蓄積中です。

Built with

カテゴリとタグ

GitHubデータ

GitHubのデータGitHubの詳細データを見る

GitHub Topics

  • ai
  • ai-gateway
  • analytics
  • anthropic
  • api-key-management
  • claude
  • codex
  • enterprise
  • guardrails
  • inference
  • llm
  • llm-gateway
Stars
1,666
Forks
190
Watchers
3
Open Issues
74
所有者種別
Organization
主要言語
TypeScript
ライセンス
未判定
リポジトリ最終更新
2026/09/29

このOSSの使い方や活用事例をMarkdownで投稿できます。管理者が承認した後に公開されます。

情報の誤りを報告

掲載内容に誤りや古い情報があればお知らせください。

このページを読んで、次に何をすればよいか分かりましたか?