AI 之家 评测方法论
我们的评分怎么打、测试任务是什么、多久更新一次、是否存在利益关系——全部公开。
中文搜索里的「AI 工具横评」大量存在厂商投放、固定排名、复制话术。 AI 之家 的方法只有一句话： 不接软文、不卖排名、收钱不改分、方法全公开。
- 01公开评分维度与权重：每个工具卡展示五维分数，并在本站说明每一项的含义。
- 02公开测试任务：编辑部使用统一任务集对同类工具进行横向测试，避免「看官网打分」。
- 03标注核实日期：每个工具卡都记录
lastVerified，超过 180 天未核实的页面会提示「内容可能已过时」。 - 04利益披露：存在 affiliate、赞助或利益冲突时，在页面明确标注。
每个工具都从五个维度打分
单项 1–5 分，综合分 = 五项算术平均，保留一位小数。我们刻意使用等权重，避免任何单一维度被算法放大。
代码生成质量、复杂需求理解、跨文件推理、Debug 定位、Agent 自主完成任务的能力。
上手成本、IDE/界面集成度、交互流畅度、文档质量、错误提示是否清晰。
免费额度、付费档位合理性、教育/开源优惠、隐藏消费（如按 token 计费）。
中文 prompt 理解、中文注释/变量名处理、界面本地化、国内访问稳定性、支付方式。
服务可用性、响应速度、版本更新节奏、是否出现过大规模故障或封号事件。
综合分
五项算术平均，不四舍五入。它不代表「绝对好坏」，只代表编辑部在统一任务下的相对排序。
三类任务 + 一张权重表，分数怎么来的可追溯
我们不看 Demo，只看在真实仓库 / 真实需求下的表现。每类任务使用同一份 prompt、同一套验收标准、同一份记录字段， 确保横向可比、结果可复现。下方权重表公开了「每一维的分，分别来自哪一项证据」。
任务一：从零实现功能
给定一个明确需求（如「用 Python 实现带 JWT 鉴权的 REST API，包含用户注册/登录/刷新」），评估生成代码的正确性、完整性、边界处理与可维护性。
- · 不经人工修改即可运行，主流程跑通
- · 覆盖至少 2 个边界分支（token 过期、参数缺失）
- · 不出现硬编码密钥、SQL 字符串拼接等安全反模式
首次通过率 · 需人工修正行数 · 总耗时
任务二：在既有代码库中改 Bug / 加需求
给定一个真实存在的开源项目片段，要求定位并修复一个非 trivial 的 bug，或跨多个文件添加一个新功能。评估上下文理解、修改范围控制、回归风险。
- · 定位到真正的根因文件，而非靠猜或全库替换
- · 修改文件数不超出预期范围，不误伤无关文件
- · 既有测试仍通过，或主动声明破坏性改动及迁移方式
定位耗时 · 实际修改文件数 · 引入回归数
任务三：Agent 工作流编排
针对 Agent 平台，使用自然语言描述一个多步骤任务（如「读取飞书表格 → 生成日报 → 发送到钉钉群」），评估工具调用、错误恢复、可观测性与调试体验。
- · 端到端跑完整条链路，中途不人工接管
- · 注入一次失败（接口超时 / 返回异常），能重试或明确报错
- · 产出可回溯的步骤日志，便于定位哪一步出错
端到端成功率 · 平均步数 · 失败恢复情况
| 维度 | 任务一从零实现 | 任务二改 Bug | 任务三Agent 编排 | 独立核查定价/文档/故障史 |
|---|---|---|---|---|
| POWER能力 | 40% | 40% | 20% | — |
| UX易用 | 20% | 30% | 30% | 20% |
| PRICE性价比 | — | — | — | 100% |
| CN中文 | 30% | 20% | 20% | 30% |
| STABILITY稳定 | 10% | 20% | 40% | 30% |
「独立核查」不看跑分，只查可公开验证的事实：官方定价页、免费额度、支付方式、中文界面与文档、公开故障与封号记录。 Agent 类工具不参与任务一 / 任务二的编码测试时，权重按剩余任务等比重分配，并在该工具卡的结论中说明。
- 固定输入：同一类目下的所有工具使用同一份 prompt 文本，不针对单个工具做提示词调优。
- 固定环境：同一仓库快照、同一运行时版本、同一档位模型；换档位会单独标注。
- 固定记录：每类任务的记录项字段名统一（见上），原始结论沉淀为工具卡的
verdict与五维score。 - 固定时效：每次核实更新
lastVerified，超过 180 天未核实的页面会提示「内容可能已过时」。
分数不是一次性结论，而是持续维护的状态
编辑部上手使用至少 3 天，填写五维评分、价格、平台、来源等 frontmatter。
每篇内容至少由两人复核：一人确认评分，一人核对来源链接与价格有效性。
重大版本/定价变更时立即更新；常规内容每季度回炉，刷新 lastVerified。
每个工具卡展示评分来源与核实日期；本页持续公开方法论的变更历史。