https://github.com/qingmuhy744/TokenMeter
纯用 AI 写了个用于测速的工具，还在 demo 阶段，用途是显示搁家 API 的输出速度。
这个是我用的 coding plan 的测速结果
https://code.yangyangx.top/status
比较简陋，也没有仔细是做 code review ，所以仅供娱乐。
速度是个很好量化的指标，质量啥的怎么检测，我也在研究。
 |
1
qingmuhy0 OP |
 |
2
teaguexiao 1 day ago
这个思路很好，测速是选 API 最直观的指标。如果后续要测质量，MTBench 和 SimpleQA 都是比较成熟的方案，不过跑起来成本不低。
|
|
3
qingmuhy0 OP @teaguexiao 我在想能不能从统计学特征，设计一个针对大模型的 hash 算法，来鉴别相似度，看看是不是正版就行。但是要有空慢慢研究。
|
Select Language