都 2026 年了,为什么还有人觉得 AMD 比 Nvidia 更适合部署本地大模型?

21 小时 29 分钟前
 babymonster
五一节假日期间,有一个同事想本地部署大模型,在群里询问,我们都给他推荐了 Nvidia 的卡,结果他去刷 B 站,选择了 AMD AI MAX+ 395 。

难道小白真的就这样被割韭菜吗?
9490 次点击
所在节点    Local LLM
119 条回复
94
16 小时 57 分钟前
@babymonster #68 ,可能还是你们有钱吧,几万花着不心疼。
生图我就是上头的时候跟着突破限制的教程本地跑了一下,劲过去了之后就没在用过了。
TTS 的话直接调 API 真的很廉价了,而且还有免费额度。ASR 本地跑小模型我的办公电脑没显卡也完全可以胜任。
v2YngK
16 小时 50 分钟前
@xtreme1 恶评!你看 op 回不回你😂
xiaomushen
16 小时 43 分钟前
@adoal OP 不差钱,还看不惯别人没钱,嘻嘻
nrtEBH
16 小时 30 分钟前
为什么觉得 AMD AI MAX+ 395 是割韭菜 逻辑在哪里??
本来就是各有擅长 用割韭菜来形容有点不够技术过于傲慢了
Curtion
16 小时 21 分钟前
@babymonster #70 GPT-OSS-120B 是一个激活参数只有 5.1B 的 MOE 模型,可以跑,但是实际上这个模型不如 Qwen 3.6 27B ,不过 GPT-OSS-120B 速度确实会更快, 395 更适合 MOE 模型
94
16 小时 17 分钟前
@babymonster #68 ,接#81 ,所以如果现在非要找一个在本地跑的需求,可能就是跑一个 7b 左右的小模型来做 AI 翻译以减少开销?
不过其实有大量的翻译需求,也是肯定是业务上面的需求,直接用公司给的额度安排翻译任务就好了。个人看文章翻译日常用各家翻译 API 的免费额度我都用不完的……

如果是作为开发用途的,很明显能在本地跑的模型和线上的参数量级差太多了,是不会考虑的在本地跑的。所以非常不理解花大价钱买显卡、计算模块在本地跑模型的目的到底是为什么。
babymonster
16 小时 14 分钟前
就这么说吧,如果你们去买的话,是会买 AMD max 395 还是英伟达的?
Maybez007
16 小时 2 分钟前
目前来看 AMD 、mac 确实比 NVIDIA 的方案便宜很多。所以选 NVIDIA 方案的原因是?
lithiumii
15 小时 55 分钟前
看内存带宽,DGX spark 跟 395 半斤八两(英伟达稍强一点点,但都远不如一个正经显卡)。跑 llm 推理的话反正都是 llama cpp 搞定,不像训练你还要自己折腾 ROCm 。所以哪个便宜买哪个。但买 amd 的好处是你还能获得一个标准的 x86 电脑当服务器用
cheng6563
15 小时 47 分钟前
道理都懂,问题是,5090 才几个 VRAM ?难道你还想买 H100 ?
Miary
15 小时 42 分钟前
又不搞训练,买 395 有什么问题?抛开预算谈方案都是扯淡。
stimw
15 小时 41 分钟前
@xtreme1 笑死了
xiaomushen
15 小时 40 分钟前
@babymonster 抛开钱包谈的话,我也想买法拉利
Vaspike
15 小时 31 分钟前
@xtreme1 士别三日刮目相待,man?
SakuraYuki
15 小时 5 分钟前
买东西不看价格还行,黄狗的黄金显存是普通消费者能承受的?还是说 op 的 5070ti 有足够显存跑 128b ,普通人谁吃多了没事干买 DGX 专门就为了跑个 ai
SakuraYuki
15 小时 1 分钟前
@xtreme1 大脑升级速度遥遥领先各类 llm
babymonster
14 小时 59 分钟前
@xtreme1 我应该是发育了,不知道你的大脑发没发育
xiaomushen
14 小时 59 分钟前
@SakuraYuki 主打一个不缺钱嘛
wclebb
14 小时 57 分钟前
主要还是看个人的预算方案吧。
laminux29
14 小时 55 分钟前
各有各的优势。

AMD 、MAC 主打一个性价比。如果你已经确定,你需要用的某款模型,能在这种平台上面稳定跑,那么选这些非 N 卡平台,性价比更高。

但如果你经常换模型,或者自己搞各种与 AI 相关的开发,追求灵活性、兼容性、可调试性,那么必然要买 N 卡了。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/1210410

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX