一、为什么要自己做测评
中转站的服务质量会随时间变化:上游线路调整、模型上下架、限流策略变更都会影响体验。与其看别人的结论,不如用一套固定指标自己测一遍。
二、八个可验证的指标
- 接口可用率:连续 24 小时每分钟发一次探活请求,统计成功率;
- 首字延迟:流式输出场景下,从发起到收到第一个 token 的时间;
- 速率稳定性:长文本生成时每秒输出 token 的波动幅度;
- 限流策略:并发提高后是否返回 429,恢复是否及时;
- 价格一致性:页面标价与实际扣费是否一致,是否有隐藏倍率;
- 模型覆盖与更新:新模型上线速度、参数与上下文是否与官方一致;
- 用量可观测性:能否按请求导出 token、费用、耗时;
- 故障响应:报错后多久能得到明确答复与补偿方案。
三、一套可复用的测试方法
准备同一段提示词(建议用 2000 字左右的长文本任务),在目标平台跑 50 次,记录成功率、首字延迟、总耗时与 token 数,再与官方接口做对照。差额超过 20% 就要留意。
四、结论怎么写
测评结论建议只保留事实:可用率、延迟区间、价格、异常次数。避免用“最好”“最强”这类无法验证的表述,这也是内容能被长期信任的前提。