我自己的电脑是 5070Ti,总感觉跑一些模型算力不够

4 月 29 日
 babymonster

各位大佬们,我自己电脑配置也挺高 9800x3d+5070ti,但是自己玩大模型感觉算力不够,输出速度好慢,有没有大佬推荐一下什么显卡玩大模型算力舱还比较不错的

5551 次点击
所在节点    Local LLM
48 条回复
wander555
4 月 29 日
h100 呗,dpsk 官方的推荐配置都是这个
babymonster
4 月 29 日
@wander555 哥这个太贵了吧 玩不起啊
mqnu00
4 月 29 日
是算力问题吗?我感觉显存不够用。
foolishcrab
4 月 29 日
可以租算力玩啊,买卡肯定是不经济的,你又不能 7*24 用它的算力
babymonster
4 月 29 日
@mqnu00 是的 好像只有 16G
babymonster
4 月 29 日
@foolishcrab 好像也是 有没有推荐租用的平台
miludeerKay
4 月 29 日
本地的统一当玩具
bugmaker233
4 月 29 日
....跑个 27b 不错了
vinsony
4 月 29 日
5070Ti 就玩 Qwen3.6-35B-A3B
babymonster
4 月 29 日
@miludeerKay 哈哈哈哈哈
andforce
4 月 29 日
兄弟,不是算力不够,是你的钱不够
yidinghe
4 月 29 日
不要谈感觉,直接去看系统资源使用,CPU 如何,GPU 如何,内存如何,显存如何,磁盘 IO 如何,这些细节分享出来才是有效的。
junwind
4 月 29 日
你这是游戏显卡,买 H800
asdjgfr
4 月 29 日
我是 u7 265k+5060ti(16g),只能跑玩具模型,消费 pc 根本玩不了本地部署,老实租算力吧
cwcc
4 月 29 日
不是算力的问题,是显存太紧张了,只能跑个 7b 左右的才能达到每秒 70-100tok 的速度,跑更大模型受限的情况瓶颈基本全在 PCIe 带宽和显存上。

真要横向比较的话,我自己的 36G 的 MacBook Pro 能跑 qwen3.6035b-a3b 模型,每秒能到 30token ,但长上下文直接把内存撑爆死机;相比我的 5060Ti 只能直接跑小模型,或者 CPU 混合计算下利用 64G 的 RAM 能以很慢的速度跑很大的模型也不会爆内存死机。总之各有各的瓶颈,你得知道自己的硬件瓶颈在哪里。
babymonster
4 月 29 日
@andforce 确实 钱太少了哈哈哈
babymonster
4 月 29 日
@junwind 兄弟 钱不够啊哈哈哈
babymonster
4 月 29 日
@cwcc 研究研究 昨天玩了一晚上 回去接着玩
onedge
4 月 29 日
目前顶流满血可用状态( 100tps 左右)你的资金要 200w 人民币以上,更小的模型你就往回减,32GB 显存你就搞个几十 B 的模型最多了,而且速度还不会太快
zturns
4 月 29 日
租 GPU 可以试试这个平台:aHR0cHM6Ly9zaG9ydHVybC5hdC85MHoyTw==

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/1209353

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX