V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 274 days ago, the information mentioned may be changed or developed.
下面是 kimi 给出的结论，是否正确
 |
1
cmos Aug 7, 2025  1
用 BPE 分词器，英语子词合并充分，中文语义密度高，不存在也不可能存在 40%这么高的差距。相信月之暗面，不如相信我是秦始皇。搞这些，不如前置一个小模型实现精炼、去除赘余，这才是真正的提高效率和利用率。
|
 |
2
TimePPT PRO @imes 哈哈哈对的。
这个跟 tokenizer 算法强相关，各家各模型其实是有差的。 另外，OpenAI 家自己有个 token 计算器，如果有兴趣自己试试就知道了。 https://platform.openai.com/tokenizer |
|
3
TimePPT PRO 另外，现在很多模型服务厂商是有 cache 的，走 cache 也会便宜不少——比如 OpenAI 家的说明： https://platform.openai.com/docs/guides/prompt-caching
所以你每次请求，多次 context 重复部分实际上花不了多少钱，直接按裸 token 算钱实际上是算多的 |
 |
4
yh7gdiaYW Aug 7, 2025
会少但没有这么明显，我自己的应用测算下来把输入转为英文能节省 20%-30%的 token ，模型是 4o 。国产模型的话差距应该会更小甚至反过来
|
 |
5
Dlad Aug 7, 2025
感觉差异来自“子任务：翻译”。跟信息密度关系倒不大。
|
 |
6
s1E4GnZ4A2qGRyva Aug 8, 2025
第一个例子，用二楼的 token 计算器测“我爱人工智能” 是 4 个。
自己先做下实验为好。 |
 |
7
encounter2017 Aug 8, 2025
|
Select Language