Portkey

TL;DR

Portkey 把 AI 网关（250+ 模型 + fallback + 路由 + 缓存）和 LLM 全栈观测（40+ 维度 + 成本归因 + tracing + auto-instrumentation）做成同一个 SaaS，再加 MCP Gateway 让 AI agent 工具调用可追溯——目标是中大型团队从 PoC 走向生产的『AI 控制面板』。2026 年 Palo Alto Networks 完成收购，附带 SOC2 Type 2 + HIPAA + GDPR + ISO 27001 合规背书。3000+ GenAI 团队使用，1T tokens/天里程碑。

适合：从 PoC 走向生产的中大型团队；要 SOC2/HIPAA/HIPAA/GDPR 强合规；多团队 RBAC + budgets + 治理；大规模 AI agent 部署需要 MCP 工具调用可追溯。不适合：深度 nested span tracing（用 Langfuse）；纯网关不要观测（用 LiteLLM）；中文支付 / 中文 UI（用 one-api / new-api）；预算极紧的小项目（10K log 免费 + Pro $79 但深度有限，Helicone 同档更轻）。

核心能力

• 250+ 模型 unified API：OpenAI / Anthropic / Google / AWS Bedrock / Azure / Cohere / 等
• Fallback / Load Balancing / Conditional Routing：跨 provider 高可用
• Semantic + simple caching：减延迟 + 降成本
• Retries / circuit breakers：完整 SRE 配套
• Full-stack Observability：40+ 维度 logs / traces / metrics
• OpenTelemetry 兼容：导出到现有 APM
• Tracing：跨 LLM call + tool use 统一时序视图
• Auto-instrumentation：自动埋点多个 LLM / agent 框架
• Prompt management + templates
• MCP Gateway（GA）：AI agent 工具调用统一访问 + 审计
• RBAC + SSO/SAML + Audit
• Hierarchical budgets + rate limits
• Guardrails
• Compliance：SOC2 Type 2 / HIPAA / GDPR / ISO 27001（Enterprise）
• 部署：SaaS / 私有云 / VPC / on-prem（Enterprise）
• Open Source Gateway：MIT 协议，可自托管纯路由层

价格

• Developer Free：10K logs/月 + 3 天 retention + 基础功能
• Production：$49/月（早期媒体引用 $79 已下调）+ 100K logs + $9/100K 超量（最高 3M）+ 30 天 retention + 语义缓存 + RBAC + Guardrails
• Team：联系销售（更高 log 配额 + 团队治理 + 更长 retention）
• Enterprise：Custom（业界估 $5K–$10K+/月）+ 10M+ logs + 自定义 retention + 全套合规 + SSO + 私有云
• Open Source Gateway：$0 自托管 MIT

真实成本陷阱：超过 Production 100K logs 后 $9/100K 累计快，月 1M 请求 ≈ $49 + 9 × 9 ≈ $130。

实测（中型 SaaS / Series B 团队）

亮点：

• 2 分钟改 baseURL 接入，立即看到所有 LLM 调用
• 40+ 维度 dashboard 让 FinOps 团队第一次能拍预算
• conditional routing 让『便宜模型先试 + 失败 fallback 贵模型』容易实现
• MCP Gateway 给团队的 agent 工具调用上了治理
• SOC 2 Type 2 + HIPAA 让合规过审快
• Auto-instrumentation 帮 LangChain / LlamaIndex 应用零代码改造

踩坑：

• 按 recorded logs 计费让用量突增时账单失控
• Tracing 深度不如 Langfuse 的 nested span（复杂 agent 调试不够）
• 模型价格表对部分模型不全 / air-gapped 部署需手动维护
• 文档对高级配置存在 gap，社区反馈一致
• 中文场景体验有限
• log retention 30 天上限不动 Enterprise 解决
• PANW 收购后路线图 / 定价变动是评估风险

上手

from portkey_ai import Portkey

client = Portkey(
    api_key="YOUR_PORTKEY_KEY",
    virtual_key="OPENAI_VIRTUAL_KEY",
    config={
        "strategy": {"mode": "fallback"},
        "targets": [
            {"virtual_key": "OPENAI_VK"},
            {"virtual_key": "ANTHROPIC_VK"}
        ],
        "cache": {"mode": "semantic"}
    }
)

resp = client.chat.completions.create(
    model="gpt-5.4",
    messages=[...]
)
# Portkey dashboard 自动看到完整 trace + cost + latency

对比

避坑

• 按 logs 计费要设报警：超量 $9/100K 容易爆账单
• PANW 收购变量：评估时把定价 / 路线图 / API 变动写进风险
• Tracing 不深够用就好：复杂 agent 调试要叠 Langfuse
• Production tier retention 30 天：超长归档要 Enterprise
• Air-gapped 价格表：部分模型成本要手动维护
• Virtual Key 别裸暴露：客户端调用务必走 server-side proxy
• Conditional routing 别写太复杂：3+ 层条件路由调试痛苦
• Open Source Gateway != 企业版：自托管开源版缺 governance / dashboards / evals

适合 / 不适合

• ✅ 中大型团队从 PoC 走向生产
• ✅ 强合规（SOC2 Type 2 + HIPAA + GDPR + ISO27001）
• ✅ 多团队 RBAC + 预算治理
• ✅ 大规模 AI agent 部署 + MCP 工具治理
• ✅ 想要『网关 + 观测』一体化 SaaS
• ❌ 深度 nested span 调试（用 Langfuse）
• ❌ 纯网关不要观测（用 LiteLLM）
• ❌ 中文运营 / 中文支付（用 one-api / new-api）
• ❌ 极小预算项目（Helicone Hobby / Langfuse Free 更划算）

相关阅读

• Helicone 评测
• LiteLLM 评测
• OpenRouter 评测
• One-API 评测

来源

1. Portkey 官网 — Observability 全栈观测 + Palo Alto Networks 收购公告 https://portkey.ai/features/observability
2. TrueFoundry — Portkey AI Gateway Pricing Guide 2026 https://www.truefoundry.com/blog/portkey-pricing-guide
3. BuildMVPFast — Langfuse vs Helicone vs Portkey 对比 https://www.buildmvpfast.com/blog/llm-observability-stack-langfuse-helicone-portkey-2026
4. DevTune — Portkey AI 评测 + 定价 + Gartner Cool Vendor https://devtune.ai/verticals/llm-observability-evals-gateways/portkey