jingle's recent timeline updates
jingle

jingle

V2EX member #7996, joined on 2011-04-15 16:08:13 +08:00
jingle's recent replies
DFlash 简单说就是用了个专用小模型并行预估多个 token ,如果预估得对,就会提速;如果猜错了(比如 thinking 模式就有多种不同的思考路径,从中选最优的,这个时候 DFlash 就容易跪);然后 DDtree 的思路就是对多种不同路径的结果进行择优,因此效果是对 DFlash 选错路径风险的补充;本质上都是对 llm 自回归预估的并行加速,与输入问题的类型强相关,不是所有的场景都会被加速,比如上述那种思考路径多的情况,就浪费计算还不讨好——个人理解,仅供参考
Feb 7, 2013
Replied to a topic by Alex_L 分享发现 Jeff Atwood的新项目,开源论坛Discourse
看着感觉v2ex,就跑回来了
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2608 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms · UTC 05:37 · PVG 13:37 · LAX 22:37 · JFK 01:37
♥ Do have faith in what you're doing.