RagaAI Catalyst
AI agent 测试 + 观测平台——300+ 自动化测试覆盖 LLM/RAG/Agentic，量化『生产风险 -90%』
agentic AI 系统的『生产前测试 + 上线后观测』专项工具。要 300+ 测试库 + 多 agent debug 走 Raga；要简单 LLM trace 用 Langfuse / Helicone；要网关 + 治理用 Portkey。中文 / 国内场景生态弱。
TL;DR
RagaAI Catalyst 是印度 RagaAI 出品的 AI agent / RAG / LLM 应用『测试 + 观测』专项平台——Python SDK + 云端，300+ 自动化测试库覆盖 hallucination / bias / RAG faithfulness / agentic 协作，多 agent 系统 tracing + debug，主打『部署前发现生产风险减少 90%』。Catalyst SDK 开源（github.com/raga-ai-hub/RagaAI-Catalyst），Cloud / Enterprise 走销售定价。
适合：构建生产级 agentic 系统的中大型团队（金融 / 医疗 / 政企）需要 pre-prod 风险量化；RAG pipeline 需要 retrieval / faithfulness 多维评测；多 agent 协作系统需要 trace + debug 工具链。不适合：单一 LLM 调用 + 简单观测（Helicone / Langfuse 更轻）；预算紧的小团队（社区版 SDK 够但 Cloud 走企业销售）；中文 / 国内合规为主（生态弱）。
核心能力
- 300+ 自动化测试：LLM（hallucination / toxicity / PII / prompt injection）+ RAG（precision / faithfulness / relevance）+ Agentic（tool 正确性 / 协作一致性 / 任务完成率）
- 多 agent tracing：每次 LLM / tool / sub-agent 调用都可追溯 + 时序回放
- 多 agent debug：复杂 agent 失败时回放每个决策点 + 上下文
- Python SDK：包装 LangChain / LlamaIndex / 自家框架自动埋点
- 风险量化：每个测试出风险分 + 影响面 + 修复建议
- 数据集管理：build eval dataset + 跑 regression
- 报告 / 仪表盘：团队级风险仪表盘 + 趋势 + CI/CD 集成
- 自托管 SDK + Cloud 协同：SDK 本地跑、Cloud 集中可视化
- 合规友好：私有部署 + SSO + 审计（Enterprise）
价格
- Catalyst OSS Python SDK：$0；功能含 tracing + 部分 eval
- Cloud：Custom（联系销售）；含全 300+ 测试库 + 仪表盘 + 协作
- Enterprise：Custom + SSO + 私有部署 + SLA
真实场景：先用 OSS SDK 跑 trace 评估价值，进 PoC 后再谈 Cloud 价格。
实测（中型 RAG / agentic 产品 / 印度欧美客户）
亮点：
- 300+ 测试库省去 reinvent 各种 eval metric 的工作
- RAG faithfulness / context precision 测试对反 hallucination 很有用
- 多 agent trace + 回放在调试复杂协作链时是救命工具
- 风险评分给业务方一个 quantitative 沟通口径
- Catalyst SDK 开源，预算紧团队也能先用上
- 与 LangChain / LlamaIndex 集成顺滑
踩坑：
- 文档对高级配置 + 自定义测试覆盖不足，社区反馈一致
- Cloud 定价不透明，PoC 才能拿到报价
- 报告 / UI 偏英文 + 印度产品风格，中文场景弱
- 多 agent trace 在超大调用图（>500 step）下渲染慢
- 测试结果质量依赖 dataset 质量，garbage in / garbage out
- 比 Langfuse 更偏『测试』少偏『日常 observability』，两个工具有时要叠用
- 国内访问 Cloud 延迟 + 合规需要评估
上手
pip install ragaai-catalyst
from ragaai_catalyst import RagaAICatalyst, Tracer
catalyst = RagaAICatalyst(
access_key="...",
secret_key="...",
base_url="https://catalyst.raga.ai"
)
tracer = Tracer(project_name="my-rag-app", tracer_type="langchain")
tracer.start()
# 你的 LangChain / LlamaIndex / 自家 agent 代码
# tracer 自动捕获 LLM / tool / sub-agent 调用
tracer.stop()
# 登录 Catalyst Cloud 看 trace + 跑 300+ 测试
对比
| 维度 | RagaAI Catalyst | Langfuse | Helicone | Portkey |
|---|---|---|---|---|
| 主打 | 测试 + 风险量化 | Tracing + eval | Proxy 观测 + gateway | Gateway + 观测 |
| 自动化测试库 | ✅ 300+ | 部分 | 浅 | 浅 |
| Agentic debug | ✅ 强 | ✅ nested span | 浅 | 中 |
| RAG 专项测试 | ✅ 强 | ✅ 中 | 弱 | 弱 |
| Proxy / gateway | ❌ | ❌ | ✅ | ✅ 250+ |
| 自托管 OSS | SDK 部分 | ✅ MIT 19K+ | ✅ | OSS Gateway only |
| 中文生态 | ❌ | ❌ | ❌ | ❌ |
| 定价透明 | ❌ Custom | ✅ $0/$29/Enterprise | ✅ $0/$79/$799 | ✅ $0/$49/$799 |
| 适合 | pre-prod testing + agentic | 日常 tracing + eval | 改 URL 快上手 | gateway + 治理 |
避坑
- OSS SDK ≠ 完整 Cloud：300+ 测试库主要在 Cloud，OSS 主要 tracing + 部分 eval
- dataset 质量决定测试质量：建 eval dataset 时务必含 edge case / adversarial 例
- 大 trace 渲染慢：>500 step 的 agent 用 filter / sampling
- Cloud 定价 PoC 谈：先 SDK 跑两月有数据再谈合同
- 不替代日常 observability：复杂场景叠 Langfuse / Helicone
- 中文场景弱：报告 / 文档 / UI 均英文为主，国内项目要评估团队接受度
- Agentic 测试时间长：300+ 测试跑一遍可能数小时，CI/CD 集成要 schedule 而非每次 PR
- 风险评分谨慎宣传：『-90% 生产风险』是营销话术，实际依赖你的实施质量
适合 / 不适合
- ✅ 生产级 agentic 系统 / RAG pipeline 的中大型团队
- ✅ 金融 / 医疗 / 政企需要风险量化沟通
- ✅ 多 agent 协作系统需要 trace + debug
- ✅ 想把 LLM eval 从手工脚本升级成系统化平台
- ❌ 单一 LLM 调用 + 简单观测
- ❌ 预算紧 + 不要 Cloud（OSS SDK 部分能力够）
- ❌ 中文 / 国内合规为主
- ❌ 不愿走企业销售流程
相关阅读
来源
- F6S — RagaAI Catalyst 产品概览 https://www.f6s.com/software/ragaai-catalyst
- AIIndigo — RagaAI Catalyst 评测 + 定价 + 替代品 2026 https://aiindigo.com/tool/ragaai-catalyst
- SwitchTools — RagaAI Inc 平台（300+ 测试 / 90% 风险下降）https://www.switchtools.io/tool/ragaai-inc
- SoftwareSuggest — RagaAI Details / Pricing 2026 https://www.softwaresuggest.com/ragaai
| 计划 | 价格 | 限制 | 国内支付 | 备注 |
|---|---|---|---|---|
| Catalyst OSS | $0 | — | — | |
| Cloud | Custom | — | — | |
| Enterprise | Custom | — | — |
RagaAI 和 Langfuse / Helicone 怎么选？
RagaAI Catalyst 把『测试』作为一等公民——300+ 自动化测试 + RAG / Agent 风险量化，强调『部署前发现』。Langfuse 是 tracing + eval 双强，Helicone 是 proxy 观测 + gateway。要 agentic 系统的 pre-prod testing + 风险评分 → RagaAI；要日常 LLM trace / 简单 eval → Langfuse；要改 baseURL 看 cost → Helicone。
300+ 测试覆盖什么？
覆盖三类系统：(1) LLM 应用——hallucination / toxicity / bias / PII leakage / prompt injection；(2) RAG pipeline——检索准确率 / context precision / answer relevance / faithfulness；(3) Agentic 系统——tool use 正确性 / 多 agent 协作一致性 / 任务完成率 / 安全围栏。
Catalyst SDK 怎么用？
pip install ragaai-catalyst → 包装 LangChain / LlamaIndex / 自家 agent 框架 → 自动 trace 每次 LLM / tool / sub-agent 调用 → 上传 Cloud 看仪表盘 / 跑测试。SDK 本身 OSS，Cloud 部分付费。
国内能用吗？
Python SDK 自托管 OK。Cloud 服务器在海外，国内延迟 + 合规要评估。中文场景 + 中文文档极弱，prompt / 报告均英文。国内类似定位推荐看 PromptLayer / Helicone OSS 自托管，或自家 LangSmith / Phoenix 组合。