O Que É um LLM Gateway (Proxy)? Uma API para Todo Provedor — Guia 2026

Você construiu tudo sobre a API da OpenAI. Depois quer testar o Claude também, e comparar com o Gemini. Mas cada provedor tem um SDK, um formato de requisição e um comportamento de erro diferentes. Cada troca significa reescrever código, transformar respostas e manter uma lógica de retry separada por fornecedor — e em pouco tempo, a "encanação específica de fornecedor" se infiltrou em cada canto da sua aplicação. E enquanto você está preso a um único provedor, no instante em que aquela empresa tem uma queda, aumenta preços ou desliga um modelo, sua aplicação cai junto.

O que assume toda essa encanação é um LLM gateway (AI gateway), também chamado de LLM proxy. É um relay que fica entre a sua aplicação e os provedores, expondo uma única API (geralmente compatível com a OpenAI) para alcançar todos os modelos, e cuidando das tarefas transversais — fallback, controle de custos, cache, rate limiting. Este guia cobre o que um gateway faz por você, a diferença entre os tipos self-hosted, hospedado e SDK, como escolher entre LiteLLM, OpenRouter e o Vercel AI SDK, e os limites que você precisa conhecer para não se queimar.

1. Por que você precisa de um LLM gateway

Se você chama um único provedor por um único SDK, não precisa de um gateway. Você precisa de um no momento em que quiser usar mais de um modelo. Veja as três dores clássicas.

O que elas têm em comum é uma estrutura em que as restrições do SDK ditam uma escolha essencialmente estratégica — qual modelo usar. Um gateway retira essa encanação da sua aplicação. Sua aplicação só precisa conhecer um endpoint; quem chamar por trás dele, para quem fazer failover e quanto você já gastou são trabalho do gateway. Como construir um agente de IA ou um framework de agentes quase sempre pressupõe múltiplos modelos, a demanda só cresce.

2. O que é um LLM gateway

Um LLM gateway é um proxy que fica entre a sua aplicação e um ou mais provedores de LLM. A maioria expõe uma única API no formato do endpoint chat-completions da OpenAI e consolida em um só lugar o trabalho transversal que, de outra forma, ficaria espalhado pelo seu código — roteamento, retries e fallback, cache, rate limiting, controle de custos e controle de acesso.

A ideia é tornar a janela uma só. O código da sua aplicação apenas passa uma string para model. Escreva anthropic/claude-opus-4.8 e você recebe o Claude; escreva openai/gpt-5.5 e você recebe o GPT — nada mais na aplicação muda. Decisões como "fazer failover para outro modelo quando este cair" ou "retornar do cache esta pergunta idêntica" são todas resolvidas do lado do gateway. Misturar um LLM local para que "dados sensíveis fiquem locais e todo o resto vá para a nuvem" se escreve da mesma forma.

3. O que ele resolve por você

O trabalho transversal que um gateway assume cai, grosso modo, nestes seis grupos. As ferramentas diferem no que fazem melhor, mas a direção é comum.

4. Três tipos: self-hosted, hospedado, SDK

"LLM gateway" é usado como um rótulo único, mas onde ele roda o divide em três personalidades bem distintas. Confunda isso e você escolherá errado.

① Self-hosted é um processo independente (um servidor proxy) que você sobe na sua própria infraestrutura. Como os prompts não passam por um SaaS externo, ele é forte em governança e auditoria — mas você mesmo o opera. ② Hospedado tem o provedor rodando o proxy, então é o mais rápido de adotar, mas as requisições passam por um terceiro. ③ SDK não sobe nenhum processo separado; ele absorve as diferenças de provedor dentro do código da sua aplicação — não é um relay de rede, e sim uma "camada de abstração", e pode ser combinado com ① ou ②.

5. Comparando as principais ferramentas

Aqui estão os três destaques em ordem recomendada, mais dois que vale conhecer. Os números têm por base as páginas oficiais de cada fornecedor em julho de 2026 (as ofertas mudam, então sempre confirme o mais recente na fonte primária).

LiteLLM — o proxy self-hosted padrão

LiteLLM (da BerriAI) é uma biblioteca Python de código aberto e um gateway self-hosted. Ele permite chamar 100+ provedores e 2.500+ modelos por uma única API compatível com OpenAI (segundo o repositório oficial). Suba-o como proxy e você ganha controle de custos, chaves virtuais, rate limiting, fallback, balanceamento de carga, cache com Redis e observabilidade (integrações com Langfuse/Prometheus/Datadog). É a primeira escolha para organizações que querem manter os prompts internos.

OpenRouter — multi-provedor com uma chave, na hora

OpenRouter é um gateway hospedado sem operação. Com uma única API compatível com OpenAI e uma chave de API, ele dá acesso a 400+ modelos segundo o site oficial. Seu desenho de preço se destaca: o site oficial afirma "não aplicamos markup sobre os tokens de inferência (os preços do catálogo equivalem aos preços publicados de cada provedor)", enquanto cobra uma taxa de plataforma de 5,5% sobre compras de crédito (segundo openrouter.ai/pricing). É esmagadoramente rápido para "só colocar para rodar" e "testar todos os fornecedores com uma chave".

Vercel AI SDK — abstrair a partir do código em TypeScript

Vercel AI SDK (só "AI SDK" em 2026) é um toolkit TypeScript de código aberto. Em vez de um processo proxy separado, é uma camada de abstração que absorve as diferenças de provedor dentro do código da sua aplicação. O que a documentação chama de "núcleo arquitetural" é a abstração de provedor: mudar da OpenAI para a Anthropic significa trocar um import e uma string de modelo — seu código de geração, streaming e tool-calling permanece totalmente intacto. Combine-o com o Vercel AI Gateway hospedado e você alcança 100+ modelos. Para os detalhes de implementação e o código, veja nosso guia completo do Vercel AI SDK.

Mais duas para conhecer

6. Configuração mínima (código)

Parece assustador, mas o cerne da troca é um único lugar — troque o endpoint (ou a string de modelo). Aqui está o exemplo mínimo para cada um dos três tipos.

② Hospedado: OpenRouter (só troque o endpoint)

Mantenha seu SDK OpenAI de sempre; mude só o base_url e a chave para alcançar 400+ modelos.

from openai import OpenAI

client = OpenAI(
    base_url="https://openrouter.ai/api/v1",  # esta é a única troca
    api_key="sk-or-...",                       # sua chave do OpenRouter
)

resp = client.chat.completions.create(
    model="anthropic/claude-opus-4.8",  # mude para "openai/gpt-5.5" e você trocou
    messages=[{"role": "user", "content": "Olá"}],
)
print(resp.choices[0].message.content)

① Self-hosted: LiteLLM (suba seu próprio proxy)

Liste seus modelos em um arquivo de config, e um comando sobe um gateway compatível com OpenAI em localhost:4000. Sua aplicação apenas aponta para lá.

# config.yaml
model_list:
  - model_name: claude
    litellm_params:
      model: anthropic/claude-opus-4-8
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: gpt
    litellm_params:
      model: openai/gpt-5.5
      api_key: os.environ/OPENAI_API_KEY

# iniciar (serve uma API compatível com OpenAI em http://localhost:4000)
litellm --config config.yaml

③ SDK: Vercel AI SDK (mude a string de modelo no código)

Mantenha o import e a função; troque só a string model para alternar.

import { generateText } from 'ai';

const { text } = await generateText({
  model: 'anthropic/claude-opus-4.8',  // mude para 'openai/gpt-5.5'
  prompt: 'Olá',
});
console.log(text);

Em todos os casos você não tocou em uma única linha de lógica da aplicação. Esse é o efeito de um gateway/abstração. Fallback e cache são adicionados por cima disso via configuração (a documentação de cada fornecedor é o caminho mais rápido para a sintaxe exata).

7. Como escolher

Escolha não por "qual é o melhor", e sim por qual se encaixa nas suas restrições. Aplique-as nesta ordem e você raramente ficará travado.

Combinações são normais na prática. Por exemplo, "escrever a aplicação com o Vercel AI SDK, mas apontar sua porta dos fundos para um proxy LiteLLM para centralizar custo e chaves de toda a empresa" é uma configuração de dois níveis que funciona justamente porque os tipos SDK e proxy são camadas separadas. Como seguro contra risco de dependência, encaixar um LLM local como um dos alvos de fallback também está virando padrão.

8. Ressalvas e limites — não é de graça

Um gateway é conveniente, mas como ele adiciona uma camada, há sempre um custo. Considere estes quatro antes de adotar um.

Mais uma coisa frequentemente ignorada: privacidade. Rotear por um gateway hospedado significa que seus prompts e respostas passam pela infraestrutura de um terceiro. Se você lida com dados sensíveis, verifique a política de tratamento de dados do intermediário, ou mantenha os prompts internos com um tipo self-hosted (como o LiteLLM) logo de início. Para produção em uma organização, trate as próprias chaves e logs do gateway como sujeitos de menor privilégio e isolamento também — esse é o lado seguro.

Resumo

Se você trabalha com múltiplos modelos, um gateway está deixando de ser um "bom ter" e virando equipamento básico para reunir a encanação em um só lugar. Comece trocando o base_url com o OpenRouter ou mudando uma string de modelo com o Vercel AI SDK — esse pequeno passo dissolve o lock-in a um único fornecedor e torna tanto a comparação quanto o fallback de repente realistas. Para especificações exatas e atuais, confirme a fonte primária de cada fornecedor (LiteLLM / OpenRouter / AI SDK).

FAQ