jingle

V2EX member #7996, joined on 2011-04-15 16:08:13 +08:00

jingle's recent replies

1 day ago

Replied to a topic by stefwoo › Local LLM › github 看到一个项目， 3090 跑 27B， 129tps，最高 207tps

DFlash 简单说就是用了个专用小模型并行预估多个 token ，如果预估得对，就会提速；如果猜错了（比如 thinking 模式就有多种不同的思考路径，从中选最优的，这个时候 DFlash 就容易跪）；然后 DDtree 的思路就是对多种不同路径的结果进行择优，因此效果是对 DFlash 选错路径风险的补充；本质上都是对 llm 自回归预估的并行加速，与输入问题的类型强相关，不是所有的场景都会被加速，比如上述那种思考路径多的情况，就浪费计算还不讨好——个人理解，仅供参考

Feb 7, 2013

Replied to a topic by Alex_L › 分享发现 › Jeff Atwood的新项目，开源论坛Discourse

看着感觉v2ex，就跑回来了

» More replies by jingle