LLMゲートウェイ／プロキシとは？複数プロバイダを1本のAPIでさばく仕組みと選び方【2026】

OpenAIのAPIで実装した。次にClaudeも試したくなり、Geminiも比べたくなる。ところがプロバイダごとにSDKもリクエスト形式もエラーの出方も違う。切り替えるたびにコードを書き直し、レスポンスを変換し、リトライ処理を各社ぶんメンテする——気づけばアプリのあちこちに「特定ベンダー向けの配管」が染み込んでいる。しかも1社に固定していると、その会社が停止・値上げ・障害を起こした瞬間、アプリも一緒に倒れる。

この配管をまとめて引き受けるのが LLMゲートウェイ（LLM Gateway、AI Gateway）、別名 LLMプロキシだ。アプリと各プロバイダのあいだに1枚かませる中継役で、1本のAPI（多くはOpenAI互換）で全モデルを叩けるようにし、フォールバック・コスト集計・キャッシュ・レート制限といった横断的な面倒ごとを肩代わりする。本記事は、ゲートウェイが何をしてくれるのか、自前・ホスト・SDKの3タイプの違い、LiteLLM / OpenRouter / Vercel AI SDK を軸にした選び方、そして導入で損しないための限界までを、実装目線で整理する。

1. なぜLLMゲートウェイが要るのか

単一のプロバイダを1本のSDKで呼ぶだけなら、ゲートウェイは要らない。必要になるのは、複数のモデルを扱いたくなった瞬間だ。典型的な3つの痛みを見てみよう。

共通するのは、「どのモデルを使うか」という本質的な選択を、SDKの都合が縛っているという構図だ。ゲートウェイは、この「配管」をアプリの外へ切り出す。アプリは1つの窓口だけを知っていればよく、その裏で誰を呼ぶか・落ちたら誰に振り替えるか・いくら使ったかは、ゲートウェイが面倒を見る。AIエージェントやエージェント・フレームワークを組むと複数モデルの併用がほぼ前提になるため、需要はいっそう高まる。

2. LLMゲートウェイとは何か

LLMゲートウェイとは、アプリと1つ以上のLLMプロバイダのあいだに座るプロキシだ。多くはOpenAIのチャット補完エンドポイントと同じ形の単一APIを外向きに見せ、本来ならコードのあちこちに散らばる横断的な仕事——ルーティング、リトライとフォールバック、キャッシュ、レート制限、コスト集計、アクセス制御——を1か所に集約する。

ポイントは「窓口を1つにする」ことにある。アプリのコードは model に文字列を渡すだけ。anthropic/claude-opus-4.8 と書けばClaude、openai/gpt-5.5 と書けばGPT——アプリの他の部分は1行も変わらない。落ちたら別モデルへ振り替える、同じ質問はキャッシュから返す、といった判断もゲートウェイ側の設定で完結する。ローカルLLMを混ぜて「機密データはローカル、それ以外はクラウド」と振り分けるのも同じ仕組みで書ける。

3. 何を肩代わりしてくれるのか

ゲートウェイが引き受ける「横断的な仕事」は、だいたい次の6つに整理できる。ツールによって得意・不得意はあるが、方向性は共通だ。

4. 3つのタイプ——自前・ホスト・SDK

「LLMゲートウェイ」と一括りにされるが、どこで動くかで性格が大きく3つに分かれる。ここを取り違えると選定を誤る。

①セルフホスト型は、自社インフラに立てる独立プロセス（プロキシ・サーバー）。プロンプトが外部SaaSを経由しないので統制・監査に強い反面、自分で運用する。②ホスト型は提供元がプロキシを運用してくれるので導入は最速だが、リクエストは第三者を通る。③SDK型は別プロセスを立てず、アプリのコードの中でプロバイダ差を吸収する——ネットワーク的な中継役ではなく「抽象化レイヤ」で、①②と併用もできる。

5. 主要ツールを比べる

推奨順に3本の主役と、押さえておくべき2本を紹介する。数値は各公式の2026年7月時点の記載に基づく（提供内容は改定されるため、最新は必ず一次情報で確認を）。

LiteLLM——自前で建てる定番プロキシ

LiteLLM（開発元 BerriAI）は、オープンソースのPythonライブラリ兼セルフホスト・ゲートウェイ。100以上のプロバイダ・2,500以上のモデルをOpenAI互換の単一APIで叩ける（公式リポジトリの記載）。プロキシとして立てれば、コスト追跡・仮想キー・レート制限・フォールバック・負荷分散・Redisキャッシュ・オブザーバビリティ（Langfuse/Prometheus/Datadog連携）まで揃う。プロンプトを自社内に留めたい組織の第一候補だ。

OpenRouter——鍵1本で即マルチプロバイダ

OpenRouterは、運用不要のホスト型ゲートウェイ。単一のOpenAI互換APIと1本のAPIキーで、公式によれば400以上のモデルにアクセスできる。特筆すべきは料金設計で、公式は「推論トークンに上乗せはしない（カタログ表示価格＝各社公表価格）」と明言する一方、クレジット購入時に5.5%のプラットフォーム手数料がかかる（openrouter.ai/pricing の記載）。「まず動かす」「1鍵で全社を試す」用途で圧倒的に速い。

Vercel AI SDK——TypeScriptでコードから抽象化

Vercel AI SDK（2026年は単に「AI SDK」）は、TypeScript製のオープンソース・ツールキット。別プロセスのプロキシではなく、アプリのコード内でプロバイダ差を吸収する抽象化レイヤだ。公式が「アーキテクチャの核」と呼ぶのがプロバイダ抽象化で、OpenAIからAnthropicへの乗り換えはimportとモデル文字列を1つ変えるだけ——生成・ストリーミング・ツール呼び出しのコードは丸ごと不変。ホスト型の Vercel AI Gateway と組めば100以上のモデルにも届く。実装の詳細とコードは Vercel AI SDK完全ガイド で深掘りしている。

あわせて知っておく2本

6. 最小構成のイメージ（コード）

「難しそう」に見えて、乗り換えの肝はたった1か所——接続先（またはモデル文字列）を差し替えるだけだ。3タイプそれぞれの最小例を見よう。

② ホスト型：OpenRouter（接続先を差し替えるだけ）

いつものOpenAI SDKのまま、base_url と鍵を替えるだけで400+モデルに届く。

from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",  # 差し替えるのはここだけ
    api_key="sk-or-...",                       # OpenRouterの鍵
)

resp = client.chat.completions.create(
    model="anthropic/claude-opus-4.8",  # "openai/gpt-5.5" に変えれば乗換完了
    messages=[{"role": "user", "content": "こんにちは"}],
)
print(resp.choices[0].message.content)

① セルフホスト型：LiteLLM（自前でプロキシを立てる）

設定ファイルに使うモデルを並べ、コマンド1つで localhost:4000 にOpenAI互換のゲートウェイが立つ。アプリはそこへ向けるだけ。

# config.yaml
model_list:
  - model_name: claude
    litellm_params:
      model: anthropic/claude-opus-4-8
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: gpt
    litellm_params:
      model: openai/gpt-5.5
      api_key: os.environ/OPENAI_API_KEY

# 起動（http://localhost:4000 にOpenAI互換で立つ）
litellm --config config.yaml

③ SDK型：Vercel AI SDK（コードのモデル文字列を替える）

importと関数はそのまま、model の文字列を差し替えるだけで乗り換わる。

import { generateText } from 'ai';

const { text } = await generateText({
  model: 'anthropic/claude-opus-4.8',  // 'openai/gpt-5.5' に変えるだけ
  prompt: 'こんにちは',
});
console.log(text);

いずれもアプリのロジックは1行も触っていない。これがゲートウェイ／抽象化の効き目だ。フォールバックやキャッシュは、この上に設定で足していく（具体的な書き方は各公式ドキュメントが最短）。

7. どう選ぶか

「どれが一番いいか」ではなく、自分の制約に合うのはどれかで選ぶ。次の順で当てはめると迷いにくい。

実務では組み合わせも普通だ。たとえば「アプリ内はVercel AI SDKで書きつつ、その裏口をLiteLLMプロキシに向けて全社のコスト・鍵を一元管理」といった二段構えは、SDK型とプロキシ型が別レイヤだからこそ成り立つ。依存リスクへの備えとしてフォールバック先にローカルLLMを1つ挿しておくのも定石になりつつある。

8. 注意点・限界——タダではない

ゲートウェイは便利だが、1枚かませる以上、必ず代償がある。導入前にこの4点を勘定に入れておく。

もう一つ見落とされがちなのがプライバシーだ。ホスト型ゲートウェイを通すと、プロンプトと応答が第三者のインフラを経由する。機密データを扱うなら、経由先のデータ取り扱いポリシーを確認するか、そもそもセルフホスト型（LiteLLM等）でプロンプトを自社内に留める。組織で本番運用するなら、ゲートウェイのキーやログ自体も最小権限と隔離の対象として扱うのが安全側だ。

まとめ

複数モデルを扱うなら、ゲートウェイは「あると便利」ではなく「配管を1か所に集める」ための基本装備になりつつある。まずはOpenRouterでbase_urlを差し替えるか、Vercel AI SDKでモデル文字列を1つ替える——その小さな一歩で、特定ベンダーへの固定が解け、比較もフォールバックも一気に現実的になる。正確な最新仕様は各公式（LiteLLM／OpenRouter／AI SDK）を一次情報として確認してほしい。

FAQ