ZHONGZHUANCHA / METHOD

鉴真方法

把「这家中转站给的是不是真模型」拆成可复核的字段、公式和阈值:采集什么、怎么算、什么算通过、什么情况下不下结论。

方法版本 featured-overall-v2 · 套件 hovy

三层数据分开看

资料、监测、鉴真是三种不同的证据,不能互相替代

资料层 · 公开信息

人工核验 · 字段级记录 observed_at

最低起充、支付方式、退款与开票政策、企业服务取自官网或运营方公开页面。没有依据的字段留空,不用推测值补全。

监测层 · 端点探测

状态 15 分钟一轮 · 指标按 24h / 7d / 30d 聚合

对公开 /v1 端点做无鉴权探测:401 / 403 记为需要鉴权(端点存活),5xx、超时、连接失败记为失败。探测只能证明端点活着,不能证明模型是真的。

鉴真层 · 真实请求

每次检测出一份公开报告

用真实 Key 发起对话请求,跑 7 项能力检查,记录首 Token、总耗时、输出 Token 与失败码;Key 不写入浏览器存储、日志或报告。

鉴真检测的 7 项能力检查

一次检测跑一轮主请求 + 一次逻辑探针 + 一次流式探针,逐项判定

检查 key检查项判定依据
model_fingerprint型号指纹匹配响应里的 model 与请求的 model 完全一致
reasoning_stability逻辑求解稳定性同一逻辑题两次作答一致,且都是「是」
structure_constraints结构约束遵循返回可解析 JSON,且 schema.status=ok、schema.count=3
parameter_fidelity调用参数保真params 原样回显 temperature=0.2、top_p=0.95、max_tokens=64
instruction_hierarchy指令层级遵循用户诱导改成 RED 时,仍遵守系统消息返回 instruction=GREEN
protocol_fields协议字段规范HTTP 200、响应结构有效、且返回可用的 usage
stream_integrity流式响应完整性流式探针返回 STREAM_OK,且流内型号与请求一致

套件分 = round(通过项 ÷ 7 × 100)。报告页展示的 score/100 与套件分同口径;任务被取消或结果无效时不产生分数。

采集字段与用途

每个字段都写清楚来源,缺失时统一显示「未采集」而不是 0

字段含义采集方式在评分中的用途
dns_msDNS 解析耗时请求前计时诊断网络路径,不进入评分
connect_ms请求阶段耗时建连到首个响应事件计时诊断线路质量
first_token_ms首 Token 时间首个流式增量到达时间P50 / P95 延迟口径
total_ms总耗时请求开始到结束输出速度分母与超时判定
output_tokens输出 Token上游 usage 或估算(output_tokens_estimated 标记)输出速度分子
tokens_per_second输出速度output_tokens ÷ (total_ms − first_token_ms) × 1000性能展示,不做跨模型比较
http_statusHTTP 状态响应状态码失败归因的第一层证据
stream_supported流式输出支持是否存在增量 chunk套件检查 stream_integrity 的前置条件
response_valid响应结构有效JSON / 事件流解析结果致命项:无效即判不通过
model_match模型一致响应 model 与请求比对致命项:不一致即判身份存疑
usage_availableusage 可用响应体是否含 usage计费可信度与协议字段检查
suite_result能力套件7 项检查的通过数生成 score / passed / total

检测评分与判定阈值

suiteScore  = round(passed / total * 100)      // total = 7
reportScore = suiteScore                       // 报告页 score/100

if (!model_match || !response_valid) verdict = "身份存疑"
else if (suiteScore >= 85) verdict = "通过"
else if (suiteScore >= 60) verdict = "存疑"
else                       verdict = "不通过"
  • 致命项:型号指纹或协议字段未通过,直接判「身份存疑」,不因其他项通过而改判。
  • 延迟只作展示:首 Token ≤ 1500ms 记「优」、≤ 3000ms 记「良」、≤ 6000ms 记「一般」,超过 6000ms 记「慢」。
  • 以上为本站展示判定;外部收录报告(origin=imported)保留来源平台自己的判定与扣分,不改写。
  • cancelled / invalid 的任务不计分,也不进入站点结论。

综合评分公式(featured-overall-v2)

component = round2(归一化值 * 权重)     // 每维先算到 0-1,再乘权重
overall   = clamp(round(                   // 四舍五入到整数
              perf + valid + coverage
            + pricing + basic + service
            ), 0, 100)
sample_limited = valid_reports < 3         // 有效报告不足 3 份

缺失字段按 0 计入该维,不猜值;「样本受限」只做标注,不额外加分或减分。目录收录(directory_unrated)不参与综合评分。

六维权重与单维公式

权重合计 100,历史检测表现占 40,是分数的主导项

维度 key维度权重计算方式
historical_performance历史检测表现40有效报告得分中位数 ÷ 100 × 40
historical_valid_rate历史有效检测率15有效报告数 ÷ 报告总数 × 15
model_protocol_coverage模型与协议覆盖15min(协议数, 3) ÷ 3 × 7.5 + min(模型族数, 5) ÷ 5 × 7.5
public_pricing_completeness公开报价完整度10已确认报价字段 ÷ 字段总数 × 10
basic_profile_completeness基础资料完整度10已确认基础字段 ÷ 字段总数 × 10
service_completeness服务项完整度10支付 / 退款 / 开票 / 企业四项中已确认的比例 × 10

聚合指标口径

可用率、P95 与各项均值都只统计有效样本,窗口为 24h / 7d / 30d

指标 key指标公式说明
availability可用率success ÷ (success + failed)cancelled 不进分母;按 24h / 7d / 30d 窗口统计
p95_first_token_msP95 首字延迟percentile_cont(0.95) 对成功样本的 first_token_ms 线性插值只统计成功且 first_token_ms 非空的样本
average_first_token_ms平均首字延迟AVG(first_token_ms)仅成功样本
average_total_ms平均总耗时AVG(total_ms)仅成功样本
average_tokens_per_second平均输出速度AVG(tokens_per_second)仅成功样本,跨模型不可直接比较
probe端点探测无鉴权请求 /v1success / auth_required / unsupported / failed 四态,附 HTTP 状态与往返延迟

掺水率(water_rate)与降智率(dilution_rate)暂标注为「定义待确认」,定义确认前不参与排序。

带 simulated / 演示 标记的数据只用于界面校验,不进入排行榜与检测结论。

状态枚举

页面上的状态标签只有这 7 种取值

  • normal正常
  • fluctuating波动
  • failed故障
  • maintenance维护
  • insufficient_samples样本不足
  • stale数据过期
  • unmonitored未监测

失败码归因

失败一律进失败分母;归因决定这条记录算谁的问题

失败码含义责任方处理
RELAY_FAILURE中转站返回错误中转站可重试
UPSTREAM_FAILURE官方上游服务故障官方上游可重试
NODE_NETWORK_FAILURE检测节点无法连接检测节点可重试
TEST_KEY_INVALID测试 Key 无效测试 Key换 Key
TEST_KEY_BALANCE_INSUFFICIENT测试 Key 余额不足测试 Key充值后重测
RATE_LIMITED请求受到限流中转站稍后重试
WORKER_FAILURE检测服务异常检测 Worker可重试
MODEL_RESPONSE_ERROR模型响应异常模型响应可重试
TIMEOUT请求超时中转站 / 节点可重试
INVALID_RESPONSE响应格式无效中转站先复核配置
UNKNOWN暂时无法判断未知人工复核

分档与展示规则

分数只是入口,逐份报告才是证据

≥ 80

资料较完整

历史报告与公开字段齐全,仍需逐份看检测报告;出现「样本受限」时分数只作参考。

65 – 79

有可查历史

有本站报告或历史记录,建议核对协议覆盖、有效检测率和最近一次失败原因。

< 65

缺口明显

资料或历史报告缺失较多,价格低不等于可用,建议小额试用并自测。

未评级

目录收录

只在服务商目录中出现(directory_unrated),没有足够证据进入综合评分。

检测结果反映采集时点的端点与样本,不承诺服务商长期稳定;收录与分数都不等于推荐。

Key 只用于单次请求,不落库、不进日志与报告;页面结论不替代采购方的独立判断。

常见问题

+检测分和综合评分是同一回事吗?

不是。检测分来自一次真实请求的 7 项能力检查(passed ÷ 7),综合评分是站点级历史聚合:六维加权,含资料完整度、模型协议覆盖与历史报告表现。

+为什么没有本站检测报告的站点分数偏低?

综合评分里历史检测表现占 40 分、有效检测率占 15 分。没有报告时这两维只能按 0 计,属于证据不足,不等于服务商有问题。

+可用率高就代表模型是真的吗?

不代表。可用率只衡量端点能否稳定返回;模型真假看鉴真得分里的型号指纹、逻辑稳定性、参数保真与流式完整性等检查项。

+页面上的 401 探测结果是什么意思?

探测请求不带 Key,401 / 403 说明端点存活但要求鉴权(auth_required)。它证明服务在线,不能证明接口背后是哪个模型。

+「样本受限」「演示数据集」怎么处理?

有效报告少于 3 份时标注样本受限,只做提示、不额外加减分;带 simulated 或 demo 标记的样本用于界面校验,不进入排行与检测结论。

+发现数据有误怎么纠正?

通过关于页的反馈表单提交页面、字段与公开依据,经公开来源复核后更新字段值与观察时间。