LLM API 网关实测：OpenRouter vs Portkey vs 自建 LiteLLM

TL;DR

测试环境

• 应用：多模型 Agent，同时调 Claude / GPT / Gemini
• 调用量：日均 10K 次请求
• 时长：2 周，每种方案各跑 4-5 天
• 关注指标：延迟、成本、可靠性、运维负担

各方案实测

OpenRouter：最省心

import openai
client = openai.OpenAI(
    base_url="https://openrouter.ai/api/v1",
    api_key="or-xxx"
)
# 一个 key 调 300+ 模型

体验：

• ✅ 接入 5 分钟，一个 key 通吃
• ✅ 自带模型路由和基础 fallback
• ✅ Dashboard 看消耗明细
• ⚠️ 多收 5% 路由费
• ⚠️ 偶尔有限流（高峰期 Claude 请求排队）
• ❌ 所有请求过 OpenRouter 服务器，数据隐私无保障

成本：日均 $50（模型费 $47.6 + OpenRouter 路由费 $2.4）

Portkey：生产级控制

const portkey = new Portkey({
  config: {
    strategy: { mode: "fallback" },
    targets: [
      { provider: "anthropic", override_params: { model: "claude-sonnet-4" } },
      { provider: "openai", override_params: { model: "gpt-5" } },
    ]
  }
})

体验：

• ✅ Fallback 逻辑强大——主模型挂了 0 延迟切备用
• ✅ 负载均衡——多个 API key 轮询，突破单 key 限流
• ✅ 语义缓存——相似请求命中缓存，省钱
• ⚠️ 配置比 OpenRouter 复杂
• ⚠️ 托管版数据也过第三方
• ❌ 无中国区节点

成本：日均 $48（模型费 $47.6 + Portkey $0.4 缓存省了点）

自建 LiteLLM：完全可控

# 部署
docker run -p 4000:4000 \
  -e ANTHROPIC_API_KEY=xxx \
  -e OPENAI_API_KEY=xxx \
  ghcr.io/berriai/litellm:main

client = openai.OpenAI(
    base_url="http://localhost:4000/v1",
    api_key="anything"
)

体验：

• ✅ 完全自托管，数据不出公司
• ✅ 纯透传，0 额外费用
• ✅ 统一 100+ 提供商到 OpenAI 格式
• ⚠️ 需要自己运维（监控、备份、升级）
• ⚠️ Fallback 配置是 YAML，不如 Portkey 灵活
• ❌ 没有托管 Dashboard（要自己接 Grafana）

成本：日均 $47.6（纯模型费）+ 服务器费 $2/天 ≈ $49.6

延迟对比

LiteLLM 延迟最低（自建内网），OpenRouter 最慢（多一跳）。

可靠性对比

2 周内记录的故障：

Portkey 最稳——fallback 机制让上游故障对用户不可见。

最终推荐

个人 / 试水 → OpenRouter（5 分钟接入）
生产团队 → Portkey（fallback + 缓存 + 可观测）
企业 / 合规 → 自建 LiteLLM（数据自有 + 0 路由费）

成本敏感 + 有运维 → LiteLLM（省 5% 路由费）
快速上线 → OpenRouter（最快）
高可用 → Portkey（fallback 最强）

踩坑记录

1. OpenRouter 限流不分模型——所有模型共享一个 rate limit，高峰期排队。
2. Portkey 缓存要配 TTL——默认永久缓存，prompt 微调就命中不了。
3. LiteLLM 内存——高并发时 OOM，调大容器内存或加 Redis 做队列。
4. 三家都不支持流式 fallback——fallback 只在非流式请求生效，流式请求主模型挂了就直接报错。