我自己的电脑是 5070Ti,总感觉跑一些模型算力不够

4 月 29 日
 babymonster

各位大佬们,我自己电脑配置也挺高 9800x3d+5070ti,但是自己玩大模型感觉算力不够,输出速度好慢,有没有大佬推荐一下什么显卡玩大模型算力舱还比较不错的

5561 次点击
所在节点    Local LLM
48 条回复
babymonster
4 月 29 日
@tootfsg 可能是用的内存
joynvda
4 月 30 日
既然已经有 5070TI ,个人认为可选的方案:

#1 换 4090 魔改 48G ,性能能提升
#2 换 Intel B60 Dual 48G, 性能会下降,折腾大模型文件格式转换(或者 LM studio 会简单一些)
#3 双卡方案:3090 24Gx2;2080 22Gx2 ,电源要改,性能应该下降一些
#4 其它非主流方案,纯属折腾,比如找数据中心退役的版本,散热和噪音要解决
NanFengxuan
4 月 30 日
@babymonster #38 128G 的 Mac Studio ,消费级最适合跑大模型的电脑,老黄家的卡都太贵。
babymonster
4 月 30 日
@NanFengxuan Mac 的芯片真的适合跑大模型吗?感觉英伟达有 CUDA 生态,大模型都是可以随便跑的
andyhuzhill
4 月 30 日
@babymonster 去了解一下 Mac 现在的芯片吧 都是统一内存寻址 直接显存给你干到 512G 很多大模型都能放下了
EvanQu
4 月 30 日
@babymonster #41 mac 都是共享共享内存 内存用剩下了就是显存 mac m3ultra 的带宽跟 5070ti 差不多 m4max 的带宽在 500 左右 但是架不住内存大啊
unco020511
4 月 30 日
我感觉本地部署不如直接买 api 或租算力做推理
iovekkk
5 天前
5070Ti + 32GB(DDR5)
今天折腾了一下午 claude code 连本地 ollama ,主要测了两个模型:gemma4-26b-a4b 和 qwen3.6-35b-a3b,
结果 gemma4 算是勉强能玩,能读文件能回复,qwen3.6 基本上执行不了什么操作指令,只能勉强对话。
找 chatgpt 分析了一下,这个结果应该跟模型能力没有太大关系,主要还是模型对 Claude code 的操作协议支持的不太好。
看样子这个配置还是只能当个玩具,甭想跟生产力扯上什么关系了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/1209353

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX