都 2026 年了,为什么还有人觉得 AMD 比 Nvidia 更适合部署本地大模型?

18 小时 43 分钟前
 babymonster
五一节假日期间,有一个同事想本地部署大模型,在群里询问,我们都给他推荐了 Nvidia 的卡,结果他去刷 B 站,选择了 AMD AI MAX+ 395 。

难道小白真的就这样被割韭菜吗?
9297 次点击
所在节点    Local LLM
119 条回复
padeoe
18 小时 13 分钟前
# 19 我是指 nvidia spark 和 amd 395 是同类型产品。推荐 Jetson 太业余了,我就问你推荐的这些你买过吗
GoogleQi
18 小时 8 分钟前
@strobber16 你在说什么😂
ikaros
18 小时 5 分钟前
如果只是跑 LLM 的话我之前的 AMD 显卡都是直接装 lmstudio 就可以用了,不知道有啥区别。
ikaros
18 小时 4 分钟前
395 去年买 128G 只要 1W 出头(现在估计不到 2W),Nvidia 那个要 3W 多, 而且 395 可以装 Windows 玩游戏, nvidia 那个我记 CPU 用的是 ARM 的, 要我也选 AMD
Bluecoda
18 小时 4 分钟前
就像苹果部署本地 LLM 一样,肯定也比不过 nv 吧?但是别人内存大啊,你 128GB 的 n 卡多少钱?苹果的多少钱?
在飞机上用苹果 64GB 跑个本地 LLM ,设置可以不联网愉快写代码
场景不同,你不能用你的场景套用别人的
xiaomimicoin2
18 小时 3 分钟前
能买部署就是豪气
babymonster
18 小时 2 分钟前
@Bluecoda 真的会在飞机上去跑吗?
CS50
17 小时 57 分钟前
不要对别人怎么花的钱有执念
mooyo
17 小时 54 分钟前
rocm 真的是死了🐎了,还有 AMD AI CPU 的 NPU 在 Linux 下没有驱动也是死了🐎了。驱动还得填表发邮箱申请。
xocus
17 小时 44 分钟前
统一内存 128G ,只有 amd 的是 Windows 系统,其他 nvida 是 ubuntu ,mac 是苹果系统,是我,我也选 amd 的
smlcgx
17 小时 33 分钟前
这场景太经典了,又想本地推理,又想着性价比,最后选这个不意外

不过话说回来,谁没交过学费啊
clemente
17 小时 30 分钟前
@babymonster ROCM 就是兼容 CUDA 来的 不过就是不好用 要折腾
fs418082760
17 小时 25 分钟前
人家本来是想打游戏,礼貌的问下,你还当真了
jackqian
17 小时 24 分钟前
只适用于本地推理,又不需要自己训练,感觉区别不大吧
jpyl0423
17 小时 23 分钟前
rocm 哪里有问题么,最近跑了个去码的任务还行
emberzhang
17 小时 22 分钟前
@afkool macmini 最高只能配到 64G 内存
zhanying
17 小时 21 分钟前
显存大,虽然速度慢好歹能跑,用 vulkan 后端就行了,rocm 纯坑
knva
17 小时 19 分钟前
跑 llm amd 有什么问题吗? 一万多能买的 128G 的 nvidia 设备了?
94
17 小时 19 分钟前
一直不能理解个人跑本地模型的目的是什么。是搞开发?还是纯好奇想玩一玩。花两三万玩一下也太奢侈了吧。
afkool
17 小时 18 分钟前
@padeoe 对了大佬,多余问下,Mac 有啥好处?我看 395 ,哪怕屏幕素质高的笔记本 128G (比如玩家国度的幻)才 2 万。。Mac Studio 128G 都本着 4 万去了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/1210410

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX