一句话结论
选 LLM API 网关,先看三个硬条件:要不要自托管、团队有没有运维能力、数据能不能过第三方。
- 不想运维 + 快速迭代 + 多模型选型:选 OpenRouter。
- 想要完全自托管 + 数据主权 + 虚拟 Key 预算治理:选 LiteLLM。
- 中大型团队 / 合规 / 长期成本敏感:走 LiteLLM Proxy。
- 小团队 / 快速验证 / 海外业务:走 OpenRouter。
如果你不确定,先用 OpenRouter 的 Free 档($1 credit + 免费模型 5/日)跑一周,体验 300+ 模型选型和自动 fallback。团队规模超过 5 人 / 有合规要求 / 月 API 费用过 $500 时,再迁移到 LiteLLM Proxy 自托管。两者都支持 OpenAI 兼容 endpoint,迁移成本主要是改 baseURL + 模型 ID 映射。
核心差异
| 维度 | OpenRouter | LiteLLM |
|---|---|---|
| 形态 | SaaS | OSS + Enterprise SaaS |
| 协议 | 闭源 SaaS | MIT 开源 |
| 自托管 | ||
| 模型数 | 300+(60+ 厂商) | 100+(BYOK 接任意) |
| 虚拟 Key + 预算 | ||
| Fallback | 自动切换 | 三类(错误/政策/上下文) |
| admin UI | dashboard | 内置 |
| 成本追踪 | dashboard | /global/spend/report |
| BYOK | 前 100 万 req/月免费,超 5%) | 全部 BYOK,0 fee) |
| 国内延迟 | 1500-3000ms(直连) | 自托管自定 |
| 中文支付 | 走 one-api 补) | |
| 运维成本 | 0 | 自付服务器 + Postgres |
价格和成本
OpenRouter 采用 passthrough 定价 + 平台费模型。模型本身按厂商官方价 0 markup,但充值有两层平台费:信用卡 5.5%(最低 $0.80,小额充值实际打到 10-20%)+ BYOK 月 100 万请求后 5%。Free $1 credit + 免费模型 5/日(充 $5+ 涨到 200/日)/ Pay-as-you-go passthrough + 5.5% 卡费 / Team $99/月 SLA / Enterprise Custom。实际总成本 ≈ 模型价 × (1 + 5.5%) + BYOK 5% × 月 >1M 部分,预算按 5-7% overhead 算。
LiteLLM 开源版完全免费(MIT),自托管成本 = 1 台 2 核 4G VPS 跑 Postgres + LiteLLM container 月 $20-30,团队 10 人完全够。模型成本走各厂商直接结算(BYOK),0 平台费。Enterprise SaaS 版 Custom 价格,含 SSO / SAML / 审计 / JWT auth / 高级路由 / SLA / on-prem 部署支持。
成本拐点:月 API 调用费用 < $500 且不需要虚拟 Key 治理 -> OpenRouter 更省心。月 API 调用费用 > $500 或需要多团队预算归因 -> LiteLLM 自托管更划算,5.5% 平台费就够 cover 服务器成本。中大型 dev org 组合「LiteLLM 网关 + Helicone/Langfuse 观测」是黄金组合。
模型覆盖和选型
OpenRouter 的杀手锏是模型覆盖广--60+ 厂商 300+ 模型,OpenAI / Anthropic / Google / Meta / DeepSeek / MiniMax / Mistral / Cohere / xAI / NVIDIA / Qwen / 字节豆包等全有。模型 ID 格式 provider/model-name(如 anthropic/claude-sonnet-4.6)。Playground 支持 5 模型并排测同 prompt + 成本 + 延迟 + 输出,横评新模型省一大堆 boilerplate。Rankings 页按 token 消耗排名看市场热度。Provider ranking / SLA dashboard 看每家 provider 延迟 + 错误率。
LiteLLM 通过 BYOK 接 100+ providers(OpenAI / Anthropic / Google / AWS Bedrock / Azure / vLLM / Ollama / Together / HuggingFace 等),模型数不如 OpenRouter 多但够用。优势是所有 Key 自己持有,不走第三方。Routing strategy 支持 cost-based / latency-based / round-robin,可以按成本或延迟自动路由到最优模型。
Fallback 和可靠性
两者都支持 fallback,但 LiteLLM 更细致。
OpenRouter 的自动 fallback 简单直接:请求里加 models: 'anthropic/claude-sonnet-4.6', 'openai/gpt-5.4',前者失败 / 超时 / 限流时自动切后者。生产 24h+ 不间断 AI 服务几乎刚需--Anthropic 2026 年 5 月 4 小时宕机,用 fallback 的应用零中断。注意 fallback 别堆太多,5+ fallback 一次失败延迟叠加可能 10s+,前 2 个即可。
LiteLLM 支持三类 fallback:(1) general fallback--5xx/429 错误切到备用模型;(2) content policy fallback--内容审查拒绝时切;(3) context window fallback--输入超 context 切大窗口模型(比如超 GPT-4 32k 自动切 Claude 200k)。可叠加 num_retries / cooldown / timeout 做完整 SRE 策略。实测配齐三类 fallback 后可用率从 99.2% -> 99.8%。
虚拟 Key 和团队治理
这是 LiteLLM 的核心优势,OpenRouter 没有对等能力。
LiteLLM Proxy 模式支持 /key/generate 给团队 / 服务签发独立 Key + 预算 + 模型白名单。每个微服务 / 团队拿到独立虚拟 Key,预算归因清晰。/global/spend/report + admin UI 看每团队 / Key / 模型成本,省了一堆自研 dashboard。Postgres + master key 模式,密钥 + 配置一致性高。回调支持 Langfuse / Prometheus / Slack 一键挂载,Guardrails 支持 Presidio PII masking。缓存支持 Redis 内置 + 语义缓存。
OpenRouter 的 Team $99/月档提供 Priority routing + 99.9% SLA + 更高限流,但没有虚拟 Key 级别的预算治理。BYOK 模式可以给团队统一 Key 管理但粒度粗。
国内可用性
两者国内裸用体验都不好,但替代路径不同。
OpenRouter 国内直连 1500-3000ms + 高峰超时率明显,Cursor / Claude Code 高频调用体感糟。不支持支付宝 / 微信 / 银联,只 Visa/Mastercard / USDC。主流方案是用 OfoxAI / 自建 one-api/new-api 中转,OpenRouter 当冷门模型补。免费模型 rate limit 后可能静默切付费,账单失控。
LiteLLM 自托管可以把网关部署在能直连厂商的节点(如香港 / 新加坡 VPS),国内访问网关延迟可控。但 BYOK Key 走海外 API 仍然受网络影响。中文支付和业务运营走 one-api / new-api 补齐(LiteLLM 本身不支持支付宝 / EPay)。
适合选择 OpenRouter 的情况
- 海外开发者 / 跨境业务,不需要自托管。
- 多模型选型 / 横评,需要 Playground 并排测试。
- 生产 fallback 高可用,不想自己搭 fallback 逻辑。
- 零迁移成本(OpenAI SDK 改 baseURL 即用)。
- 小团队 / 快速验证 POC,不想运维 Postgres。
- BYOK 模式给团队统一 Key 管理(粒度粗可接受)。
适合选择 LiteLLM 的情况
- 中大型团队 / 微服务架构,需要虚拟 Key + 预算归因。
- 合规 / 数据主权要求,数据不能过第三方。
- 多团队预算治理,需要 cost-based / latency-based routing。
- 想叠加 Langfuse / Helicone / Prometheus 观测。
- BYOK 模式跨多厂商,要 0 平台费。
- 需要三类 fallback(错误 / 政策 / 上下文)完整 SRE 策略。
- 长期 API 费用 > $500/月,5.5% 平台费够 cover 服务器。
最佳共存方案
很多团队不需要二选一。最现实的架构是:
- LiteLLM Proxy 做主网关,部署在能直连厂商的节点(香港 / 新加坡 VPS),虚拟 Key + 预算 + 三类 fallback + 成本追踪。
- OpenRouter 作为 LiteLLM 的一个 provider 接入,补冷门模型和快速选型。
- 国内业务支付 / 中文运营走 one-api / new-api 补齐支付宝 / EPay。
- 观测层挂 Langfuse(trace + cost 双视角)+ Prometheus(metrics)。
- 模型 ID 映射表:业务方调 gpt-4 -> LiteLLM config 映射到 openai/gpt-5.4-mini 或 openrouter/openai/gpt-5.4-mini,规划稳定映射表。
AI 之家 推荐结论
如果你是第一次选 LLM API 网关,先问自己三个问题:团队有没有运维能力?数据能不能过第三方?月 API 费用多少?
不想运维 + 数据可过第三方 + 月费 < $500 -> OpenRouter。5 分钟接入,Playground 横评,自动 fallback 救命。
有运维能力 + 数据不出内网 + 月费 > $500 -> LiteLLM Proxy。Docker Compose 40 分钟拉起完整生产栈,虚拟 Key + 预算 + 三类 fallback + admin UI,组合 Langfuse 观测是黄金组合。
对团队来说,最稳的方案是 LiteLLM Proxy 做主网关治理,OpenRouter 当冷门模型补。国内场景叠加 one-api 补支付,OfoxAI 做中转。别裸用任何一个--OpenRouter 国内延迟硬伤,LiteLLM 自托管也要解决 BYOK Key 的网络问题。