资料层 · 公开信息
人工核验 · 字段级记录 observed_at
最低起充、支付方式、退款与开票政策、企业服务取自官网或运营方公开页面。没有依据的字段留空,不用推测值补全。
ZHONGZHUANCHA / METHOD
把「这家中转站给的是不是真模型」拆成可复核的字段、公式和阈值:采集什么、怎么算、什么算通过、什么情况下不下结论。
资料、监测、鉴真是三种不同的证据,不能互相替代
人工核验 · 字段级记录 observed_at
最低起充、支付方式、退款与开票政策、企业服务取自官网或运营方公开页面。没有依据的字段留空,不用推测值补全。
状态 15 分钟一轮 · 指标按 24h / 7d / 30d 聚合
对公开 /v1 端点做无鉴权探测:401 / 403 记为需要鉴权(端点存活),5xx、超时、连接失败记为失败。探测只能证明端点活着,不能证明模型是真的。
每次检测出一份公开报告
用真实 Key 发起对话请求,跑 7 项能力检查,记录首 Token、总耗时、输出 Token 与失败码;Key 不写入浏览器存储、日志或报告。
一次检测跑一轮主请求 + 一次逻辑探针 + 一次流式探针,逐项判定
| 检查 key | 检查项 | 判定依据 |
|---|---|---|
| model_fingerprint | 型号指纹匹配 | 响应里的 model 与请求的 model 完全一致 |
| reasoning_stability | 逻辑求解稳定性 | 同一逻辑题两次作答一致,且都是「是」 |
| structure_constraints | 结构约束遵循 | 返回可解析 JSON,且 schema.status=ok、schema.count=3 |
| parameter_fidelity | 调用参数保真 | params 原样回显 temperature=0.2、top_p=0.95、max_tokens=64 |
| instruction_hierarchy | 指令层级遵循 | 用户诱导改成 RED 时,仍遵守系统消息返回 instruction=GREEN |
| protocol_fields | 协议字段规范 | HTTP 200、响应结构有效、且返回可用的 usage |
| stream_integrity | 流式响应完整性 | 流式探针返回 STREAM_OK,且流内型号与请求一致 |
套件分 = round(通过项 ÷ 7 × 100)。报告页展示的 score/100 与套件分同口径;任务被取消或结果无效时不产生分数。
每个字段都写清楚来源,缺失时统一显示「未采集」而不是 0
| 字段 | 含义 | 采集方式 | 在评分中的用途 |
|---|---|---|---|
| dns_ms | DNS 解析耗时 | 请求前计时 | 诊断网络路径,不进入评分 |
| connect_ms | 请求阶段耗时 | 建连到首个响应事件计时 | 诊断线路质量 |
| first_token_ms | 首 Token 时间 | 首个流式增量到达时间 | P50 / P95 延迟口径 |
| total_ms | 总耗时 | 请求开始到结束 | 输出速度分母与超时判定 |
| output_tokens | 输出 Token | 上游 usage 或估算(output_tokens_estimated 标记) | 输出速度分子 |
| tokens_per_second | 输出速度 | output_tokens ÷ (total_ms − first_token_ms) × 1000 | 性能展示,不做跨模型比较 |
| http_status | HTTP 状态 | 响应状态码 | 失败归因的第一层证据 |
| stream_supported | 流式输出支持 | 是否存在增量 chunk | 套件检查 stream_integrity 的前置条件 |
| response_valid | 响应结构有效 | JSON / 事件流解析结果 | 致命项:无效即判不通过 |
| model_match | 模型一致 | 响应 model 与请求比对 | 致命项:不一致即判身份存疑 |
| usage_available | usage 可用 | 响应体是否含 usage | 计费可信度与协议字段检查 |
| suite_result | 能力套件 | 7 项检查的通过数 | 生成 score / passed / total |
suiteScore = round(passed / total * 100) // total = 7
reportScore = suiteScore // 报告页 score/100
if (!model_match || !response_valid) verdict = "身份存疑"
else if (suiteScore >= 85) verdict = "通过"
else if (suiteScore >= 60) verdict = "存疑"
else verdict = "不通过"component = round2(归一化值 * 权重) // 每维先算到 0-1,再乘权重
overall = clamp(round( // 四舍五入到整数
perf + valid + coverage
+ pricing + basic + service
), 0, 100)
sample_limited = valid_reports < 3 // 有效报告不足 3 份缺失字段按 0 计入该维,不猜值;「样本受限」只做标注,不额外加分或减分。目录收录(directory_unrated)不参与综合评分。
权重合计 100,历史检测表现占 40,是分数的主导项
| 维度 key | 维度 | 权重 | 计算方式 |
|---|---|---|---|
| historical_performance | 历史检测表现 | 40 | 有效报告得分中位数 ÷ 100 × 40 |
| historical_valid_rate | 历史有效检测率 | 15 | 有效报告数 ÷ 报告总数 × 15 |
| model_protocol_coverage | 模型与协议覆盖 | 15 | min(协议数, 3) ÷ 3 × 7.5 + min(模型族数, 5) ÷ 5 × 7.5 |
| public_pricing_completeness | 公开报价完整度 | 10 | 已确认报价字段 ÷ 字段总数 × 10 |
| basic_profile_completeness | 基础资料完整度 | 10 | 已确认基础字段 ÷ 字段总数 × 10 |
| service_completeness | 服务项完整度 | 10 | 支付 / 退款 / 开票 / 企业四项中已确认的比例 × 10 |
可用率、P95 与各项均值都只统计有效样本,窗口为 24h / 7d / 30d
| 指标 key | 指标 | 公式 | 说明 |
|---|---|---|---|
| availability | 可用率 | success ÷ (success + failed) | cancelled 不进分母;按 24h / 7d / 30d 窗口统计 |
| p95_first_token_ms | P95 首字延迟 | percentile_cont(0.95) 对成功样本的 first_token_ms 线性插值 | 只统计成功且 first_token_ms 非空的样本 |
| average_first_token_ms | 平均首字延迟 | AVG(first_token_ms) | 仅成功样本 |
| average_total_ms | 平均总耗时 | AVG(total_ms) | 仅成功样本 |
| average_tokens_per_second | 平均输出速度 | AVG(tokens_per_second) | 仅成功样本,跨模型不可直接比较 |
| probe | 端点探测 | 无鉴权请求 /v1 | success / auth_required / unsupported / failed 四态,附 HTTP 状态与往返延迟 |
掺水率(water_rate)与降智率(dilution_rate)暂标注为「定义待确认」,定义确认前不参与排序。
带 simulated / 演示 标记的数据只用于界面校验,不进入排行榜与检测结论。
页面上的状态标签只有这 7 种取值
失败一律进失败分母;归因决定这条记录算谁的问题
| 失败码 | 含义 | 责任方 | 处理 |
|---|---|---|---|
| RELAY_FAILURE | 中转站返回错误 | 中转站 | 可重试 |
| UPSTREAM_FAILURE | 官方上游服务故障 | 官方上游 | 可重试 |
| NODE_NETWORK_FAILURE | 检测节点无法连接 | 检测节点 | 可重试 |
| TEST_KEY_INVALID | 测试 Key 无效 | 测试 Key | 换 Key |
| TEST_KEY_BALANCE_INSUFFICIENT | 测试 Key 余额不足 | 测试 Key | 充值后重测 |
| RATE_LIMITED | 请求受到限流 | 中转站 | 稍后重试 |
| WORKER_FAILURE | 检测服务异常 | 检测 Worker | 可重试 |
| MODEL_RESPONSE_ERROR | 模型响应异常 | 模型响应 | 可重试 |
| TIMEOUT | 请求超时 | 中转站 / 节点 | 可重试 |
| INVALID_RESPONSE | 响应格式无效 | 中转站 | 先复核配置 |
| UNKNOWN | 暂时无法判断 | 未知 | 人工复核 |
分数只是入口,逐份报告才是证据
≥ 80
资料较完整
历史报告与公开字段齐全,仍需逐份看检测报告;出现「样本受限」时分数只作参考。
65 – 79
有可查历史
有本站报告或历史记录,建议核对协议覆盖、有效检测率和最近一次失败原因。
< 65
缺口明显
资料或历史报告缺失较多,价格低不等于可用,建议小额试用并自测。
未评级
目录收录
只在服务商目录中出现(directory_unrated),没有足够证据进入综合评分。
检测结果反映采集时点的端点与样本,不承诺服务商长期稳定;收录与分数都不等于推荐。
Key 只用于单次请求,不落库、不进日志与报告;页面结论不替代采购方的独立判断。
不是。检测分来自一次真实请求的 7 项能力检查(passed ÷ 7),综合评分是站点级历史聚合:六维加权,含资料完整度、模型协议覆盖与历史报告表现。
综合评分里历史检测表现占 40 分、有效检测率占 15 分。没有报告时这两维只能按 0 计,属于证据不足,不等于服务商有问题。
不代表。可用率只衡量端点能否稳定返回;模型真假看鉴真得分里的型号指纹、逻辑稳定性、参数保真与流式完整性等检查项。
探测请求不带 Key,401 / 403 说明端点存活但要求鉴权(auth_required)。它证明服务在线,不能证明接口背后是哪个模型。
有效报告少于 3 份时标注样本受限,只做提示、不额外加减分;带 simulated 或 demo 标记的样本用于界面校验,不进入排行与检测结论。
通过关于页的反馈表单提交页面、字段与公开依据,经公开来源复核后更新字段值与观察时间。