我自己的电脑是 5070Ti,总感觉跑一些模型算力不够

4 月 29 日
 babymonster

各位大佬们,我自己电脑配置也挺高 9800x3d+5070ti,但是自己玩大模型感觉算力不够,输出速度好慢,有没有大佬推荐一下什么显卡玩大模型算力舱还比较不错的

5555 次点击
所在节点    Local LLM
48 条回复
q1169989139
4 月 29 日
别难为 5070ti 了哈哈,买完整的 5090 无后缀吧,5070ti 规格太差了。5070ti 只有完整的 gb203 的三分之一多一点的 cuda ,放以前叫 5060se 差不多。
babymonster
4 月 29 日
@q1169989139 阉割这么多
zushi000
4 月 29 日
5090 都不够 还是要 6000pro
PeterTanJJ
4 月 29 日
至少要 24G ,本地折腾显卡的话。
FireKey
4 月 29 日
换魔改 4090 呗
mgrddsj
4 月 29 日
@babymonster #6 租算力的话,国内用 AutoDL 比较多(国内网络环境,需要配置一下用镜像之类的来下载模型),国外的话就 vast.ai ,都不是特别贵。
drafter
4 月 29 日
部署什么模型 多少速度啊?我本地也想部署个 27B 的
limon
4 月 29 日
放弃本地吧
MoonShot
4 月 29 日
本地模型,就算显存够的情况下,总感觉启动有点慢
ntdll
4 月 29 日
你买得起的任何卡,都会让你产生“算力不够”的感觉,除非你能看得上一些弱智模型。
tootfsg
4 月 29 日
我也是 5070ti ,gemna4 26b a4b iq4xs ,速度 150t/s ,上下文开的 64k ,我觉得这个显卡算力一点也不差,差的只是显存。iq4xs 量化倒是还行,但这个量化我不太敢实践用
tootfsg
4 月 29 日
输出慢是因为你用内存跑了,那能快吗.......
penisulaS
4 月 29 日
一般来说,如果你的显存充足了,对应的算力又溢出了,所以最好还是购买线上模型
tootfsg
4 月 29 日
我感觉个人部署开源模型,唯一高性价比方案就是等 m5 macmini/studuo 出来,3w 左右的配置买一台。

除非是训练模型,那只能用 nv 。
laminux29
4 月 29 日
在工作场景,除非是保密性极强的场景,否则自己搭建设备是下下之策。因为你自己搭建设备,个人出资,别说 GPT 和 Gemini 的水平,你甚至连豆包的硬件水准都达不到,输出速度肯定慢,智商必然很低,联网、记忆、工作流等常见功能还要自己去折腾。

保密性极强的场景,一般是找运营商或厂家定制设备,我了解到的一些公司,直接购买运营商定制的商用一体机,只是硬件的价格就是 150 万元起步的水准。这种硬件,以 32B + 16 并发的性能水准提供给普通用户做对话,或者以 70B + 3 并发的水准提供给领导做驾驶舱或报表,速度与智能都比豆包低很多,但因为保密是刚需,这已经是他们的最优方案了。

当然还有 2 类场景是适合自己搭设备,第一类是游戏高级玩家买顶配显卡,顺便偶尔拿来玩玩各种小模型;还有一类是喜欢搞各种限制级的内容输出,没办法用有法律限制的商用 API 。
levn
4 月 29 日
35B ,把专家卸载到内存,速度已经够快了
27B ,就需要 32G 显存
luny
4 月 29 日
性价比最高的应该是 AMD AI Max+395 迷你主机,2 万左右,标配 128G LPDDR5X 8000MT/s ,整机算例 126T 好像能跑 70B 的模型
babymonster
4 月 29 日
@zushi000 太贵啦
babymonster
4 月 29 日
@limon 租用吧
babymonster
4 月 29 日
@laminux29 大佬说的太专业了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/1209353

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX