V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 1127 days ago, the information mentioned may be changed or developed.
发现使用 stream 模式能非常快的响应结果. 但是如果直接使用 gpt3.5-turbo 模式的话, 每个问题的答案生成需要 20s 左右。 不知道大家有什么好办法么?
目前使用了新加坡机场 和 aws 日本节点, 都非常的慢。
 |
1
charmToby Mar 29, 2023  1
就用 Stream 模式就行，很快的，可以了解下 SSE ，很简单的，每次返回一个字，和官网效果一样。
|
 |
2
swulling Mar 29, 2023 1
总时长是一样的，只是 stream 让你感觉快了而已
|
 |
3
cocomiko Mar 29, 2023 1
stream 从第一个字到最后一个字也差不多要花 20s 左右
|
 |
4
tool2d Mar 29, 2023 via Android 1
你写代码只能用 stream 模式，用非 stream 实在太慢了。
|
 |
5
yrj Mar 30, 2023 1
如果不是做聊天，没必要搞打字效果。。
|
 |
6
TomsOutside Mar 30, 2023 1
感觉跟你的问题有关，偏综合性的，比较性的，会更慢一些
|
 |
7
ex1gtnim7d Mar 30, 2023 1
接机器人的时候就很蛋疼，因为各种场景和应用下的机器人，基本都不支持流式输出
|
 |
8
MarlonFan OP 感谢大家，了解了，可能确实体感占据很大一部分因素
|
Select Language