Helicone

TL;DR

Helicone 是 YC W23 出身的开源 LLM 观测平台，主打『一行代码接入』：改 baseURL，立刻看到 cost / latency / errors / token 详情。背后还有 Rust 写的 AI Gateway，路由 100+ 模型 + 缓存 + fallback + 限流。2026-03-03 被 Mintlify 收购后转维护模式（安全 patch + 新模型 + bug fix 继续，主动新功能停）。Hobby 免费 10K req/月，Pro $79，Team $799（SOC2 + HIPAA），Enterprise 定制。SOC2 + GDPR 合规，可 Docker / Kubernetes 自托管。

适合：要 5 分钟接入 LLM 观测的小团队 / 早期产品；改 baseURL 模式想看 cost / latency 即可；预算紧 → Hobby 10K 免费 + 自托管 OSS。不适合：复杂 agent 调试需要 nested span（Langfuse）；要 250+ 模型 / MCP Gateway / 治理（Portkey）；担心维护模式带来的路线图风险（Mintlify 收购后主动开发结束）。

核心能力

• Proxy 模式：改 baseURL，零 SDK 改造
• Async 模式：SDK 异步上报，0 延迟 + 容错
• Request logging：每条请求 + 响应 + cost + token + latency
• Custom properties + sessions：把多步工作流分组看
• Prompt management + playground
• Custom scoring：基础打分 + 数据集
• AI Gateway（Rust 写）：100+ 模型 + caching + fallback + rate limit
• OpenAI / Anthropic / Azure / LiteLLM / Anyscale / Together / OpenRouter 集成
• Trace API：手动 POST 多步 trace 数据（弥补 proxy 看不到 agent 内部）
• Dashboard API：查 dashboard 数据
• Self-host：Docker / Kubernetes，开源 MIT
• 合规：SOC 2 + GDPR；Team+ HIPAA
• 导出：webhook + 外部 reporting

价格

• Hobby：$0 / 10K req/月 / 7 天 retention / 1 seat / 1GB 存储
• Pro：$79/月 / 10K 起 + usage / 1 月 retention / unlimited seats / alerts / HQL
• Team：$799/月 / 10K 起 + usage / 3 月 retention / SOC 2 + HIPAA / 5 orgs
• Enterprise：Custom / 自定义 retention / 永久存储 / SSO / on-prem

自托管版（OSS）= $0 + 无限 logs，但运维 / Postgres / Clickhouse 全要自己搞。

实测（早期 SaaS / 5 人团队）

亮点：

• 5 分钟接入，OpenAI SDK 改 baseURL + 加 Helicone-Auth header
• Dashboard 看 cost / latency / error 第一天就帮发现 prompt 失控
• Custom properties 给每个 user / feature 打标，分摊成本清晰
• Sessions 把 multi-step workflow 串起来（不像 Langfuse 是真 trace，但够小项目用）
• AI Gateway 给 fallback / caching 一站式提供
• 开源自托管对预算紧团队是真救命
• 与 LiteLLM 集成顺滑

踩坑：

• 2026-03 被 Mintlify 收购转维护模式后，主动功能开发停，长期路线图不确定
• Proxy 模式 5–20ms 延迟在高 QPS 场景叠加可观
• Proxy 看不到 agent 内部 tool / sub-agent / retries——复杂 agent 调试不够
• Custom scoring 浅，不如 Langfuse 的 LLM-as-judge + 数据集 eval 体系完整
• Free tier 10K req 小型生产几天就用完
• 文档自 Mintlify 收购后部分整合到 Mintlify Docs，导航变化
• 中文场景体验有限
• Prompt caching 需要 cache-aware prompt design（含 timestamp / nonce 命中率为 0）

上手

# Proxy 模式
import openai
client = openai.OpenAI(
    base_url="https://oai.helicone.ai/v1",
    api_key=OPENAI_KEY,
    default_headers={
        "Helicone-Auth": f"Bearer {HELICONE_KEY}",
        "Helicone-User-Id": "user_123",
        "Helicone-Property-Feature": "summarize"
    }
)
# 立刻在 https://us.helicone.ai 看到 cost / latency / log

# 自托管
git clone https://github.com/Helicone/helicone
cd helicone && docker compose up -d

对比

避坑

• 维护模式风险：被 Mintlify 收购后主动开发停，新项目长期演进考虑 Langfuse / Portkey
• Proxy 延迟 + SPOF：Helicone 挂了，业务也挂；敏感链路用 async
• Proxy 看不到 agent 内部：tool call / sub-agent / retries 不可见，复杂 agent 用 Trace API 或转 Langfuse
• Hobby 10K 跑不久：小型生产几天用完，预算够直接上 Pro
• Cache-aware prompt 设计：prompt 含 timestamp / random nonce 命中率 = 0
• Custom scoring 浅：复杂 eval 用 Langfuse 数据集 + LLM-as-judge
• Air-gapped 价格：自托管时部分模型价格表要手动维护
• PII 路径敏感：所有 prompt 经过 Helicone，要 review PII 处理 + retention + 自托管选项

适合 / 不适合

• ✅ 早期产品 + 想 5 分钟接入观测
• ✅ 改 baseURL 模式偏好 / 不想 SDK 改造
• ✅ 预算紧 + 自托管接受
• ✅ 想用 Rust AI Gateway 做 fallback + caching
• ✅ SOC2 / HIPAA Team+ 合规
• ❌ 复杂 agent 多步骤调试（用 Langfuse）
• ❌ 要 250+ 模型 + MCP + 强治理（用 Portkey）
• ❌ 长期路线图敏感（维护模式 risk）
• ❌ 中文运营（社区 / 文档 / UI 均英文）

相关阅读

• Portkey 评测
• LiteLLM 评测
• OpenRouter 评测
• One-API 评测

来源

1. Inference.net — Helicone Pricing & Alternatives 2026（含 Mintlify 收购 + 维护模式细节）https://inference.net/content/helicone-pricing-alternatives
2. Helicone 官网 https://www.helicone.ai/
3. QASkills — Helicone LLM Monitoring Complete Guide 2026 https://qaskills.sh/blog/helicone-llm-monitoring-complete-guide
4. AiPedia — Helicone Features Pricing & Failure Modes https://www.aipedia.wiki/tools/helicone/
5. BuildMVPFast — Langfuse vs Helicone vs Portkey https://www.buildmvpfast.com/blog/llm-observability-stack-langfuse-helicone-portkey-2026