V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
五一节假日期间，有一个同事想本地部署大模型，在群里询问，我们都给他推荐了 Nvidia 的卡，结果他去刷 B 站，选择了 AMD AI MAX+ 395 。
难道小白真的就这样被割韭菜吗？
难道小白真的就这样被割韭菜吗？
 |
1
selca 17h 45m ago
详述具体差异是什么呢，为啥觉得 nvidia 更适合
|
 |
2
minikekeke 17h 41m ago
便宜
|
 |
3
Gemini4422335 17h 38m ago  1
因为同价位下 AMD AI MAX+ 395 可以用更大的显存，回血出内存也方便，最高 128G
如果是 N 卡它到不了这么大，除非多卡，但是多卡又比 AMD 贵空间占的也多 至于性能损失方面不是咱们这些专业选手，人家并不在意 |
 |
4
chihiro2014 17h 38m ago
rocm 各种坑
|
 |
5
afkool 17h 38m ago via Android
推理来讲 395 便宜啊 128g 能跑大多数模型了
他的竞争对手应该是 Mac mini 128g 这种 Nvdia 是另一个赛道了吧…… |
 |
6
xiaomushen 17h 38m ago
你觉得人家没这个智商对比么？
哪怕 Q4 量化，部署一个 dense ，又真正可用的本地模型，根据不同参数规模，你猜猜需要多大的显存？ 当然，如果你是推荐给他 H20/H200 之类的，当我没说。。。 |
|
7
xiaomushen 17h 37m ago
@chihiro2014 坑是真的坑，但 2026 年，凑合能用
|
 |
8
zhuoi 17h 36m ago
安装个 rocm 你就明白 A 卡的坑了
|
|
9
xiaomushen 17h 36m ago
@afkool 是的呀，买东西肯定是综合考虑的，各种变量约束。
|
 |
10
andlp 17h 35m ago
本地个人用,部署这些模型差别不大.nvidia 贵,我还推荐你买最新的 nvidia 显卡,部署 deepseek v4 pro 呢
|
 |
11
strobber16 17h 32m ago via Android 3
建议买华为
|
 |
12
babymonster OP @selca Nvidia 的优势：CUDA 、硬件级 AI 优化、社区兼容性、高效、稳定、开箱即用
|
 |
13
ntedshen 17h 28m ago
> 我们都给他推荐了 Nvidia 的卡，结果他去刷 B 站，选择了 AMD AI MAX+ 395
你不妨说说你们都给他推了什么。。。 |
 |
14
twofox 17h 27m ago
说说什么预算下，推荐了什么？
|
 |
15
xtreme1 17h 26m ago 83
/t/1209353
很羡慕你的大脑升级速度, 4 天前击矛不懂今天已经可以指点江山了 |
 |
16
padeoe 17h 26m ago
本地部署大模型务必买 NVIDIA Spark 呀，和 AMD 395 对标的产品，这俩我都买了，AMD AI MAX+ 395 预售阶段我就下单了，相比来说，比 AMD 395 贵几千块，但生态和性能强的不是一点。
|
|
17
babymonster OP @ntedshen Nvidia Jetson Orin 64GB 、Nvidia Jetson Thor T5000 、Nvidia DGX spark 这些？有啥问题吗？
|
|
18
babymonster OP @twofox 三四万左右，给他推荐了 Nvidia Jetson Orin 64GB 、Nvidia Jetson Thor T5000 、Nvidia DGX spark 这些等等
|
|
19
babymonster OP @padeoe 真的能对标吗？ AMD 也有 CUDA 生态？
|
 |
20
kiwatokk 17h 19m ago via iPhone
主要还是 n 卡有 cuda 吧
|
|
21
padeoe 17h 17m ago
# 19 我是指 nvidia spark 和 amd 395 是同类型产品。推荐 Jetson 太业余了，我就问你推荐的这些你买过吗
|
 |
22
GoogleQi 17h 12m ago
@strobber16 你在说什么😂
|
 |
23
ikaros 17h 10m ago
如果只是跑 LLM 的话我之前的 AMD 显卡都是直接装 lmstudio 就可以用了，不知道有啥区别。
|
|
24
ikaros 17h 8m ago 1
395 去年买 128G 只要 1W 出头(现在估计不到 2W)，Nvidia 那个要 3W 多, 而且 395 可以装 Windows 玩游戏, nvidia 那个我记 CPU 用的是 ARM 的, 要我也选 AMD
|
 |
25
Bluecoda 17h 8m ago
就像苹果部署本地 LLM 一样，肯定也比不过 nv 吧？但是别人内存大啊，你 128GB 的 n 卡多少钱？苹果的多少钱？
在飞机上用苹果 64GB 跑个本地 LLM ，设置可以不联网愉快写代码 场景不同，你不能用你的场景套用别人的 |
 |
26
xiaomimicoin2 17h 7m ago
能买部署就是豪气
|
|
27
babymonster OP @Bluecoda 真的会在飞机上去跑吗？
|
 |
28
CS50 17h 2m ago
不要对别人怎么花的钱有执念
|
 |
29
mooyo 16h 58m ago
rocm 真的是死了🐎了，还有 AMD AI CPU 的 NPU 在 Linux 下没有驱动也是死了🐎了。驱动还得填表发邮箱申请。
|
 |
30
xocus 16h 49m ago
统一内存 128G ，只有 amd 的是 Windows 系统，其他 nvida 是 ubuntu ，mac 是苹果系统，是我，我也选 amd 的
|
 |
31
smlcgx 16h 37m ago
这场景太经典了，又想本地推理，又想着性价比，最后选这个不意外
不过话说回来，谁没交过学费啊 |
 |
32
clemente 16h 35m ago
@babymonster ROCM 就是兼容 CUDA 来的 不过就是不好用 要折腾
|
 |
33
fs418082760 16h 30m ago
人家本来是想打游戏，礼貌的问下，你还当真了
|
 |
34
jackqian 16h 28m ago
只适用于本地推理，又不需要自己训练，感觉区别不大吧
|
 |
35
jpyl0423 16h 27m ago
rocm 哪里有问题么，最近跑了个去码的任务还行
|
 |
36
emberzhang 16h 26m ago
@afkool macmini 最高只能配到 64G 内存
|
 |
37
zhanying 16h 25m ago
显存大，虽然速度慢好歹能跑，用 vulkan 后端就行了,rocm 纯坑
|
 |
38
knva 16h 24m ago
跑 llm amd 有什么问题吗？ 一万多能买的 128G 的 nvidia 设备了？
|
 |
39
94 16h 23m ago
一直不能理解个人跑本地模型的目的是什么。是搞开发？还是纯好奇想玩一玩。花两三万玩一下也太奢侈了吧。
|
|
40
afkool 16h 23m ago
@padeoe 对了大佬，多余问下，Mac 有啥好处？我看 395 ，哪怕屏幕素质高的笔记本 128G （比如玩家国度的幻）才 2 万。。Mac Studio 128G 都本着 4 万去了
|
 |
41
fredweili 16h 20m ago
没事别爱操心，别人买啥关你啥事？有钱自己去买自己玩
|
 |
42
meteora0tkvo 16h 19m ago
早几年前，训练 ai 只能用 nVidia 卡，现在才逐渐支持 amd 的卡而已
|
|
44
afkool 16h 17m ago
@emberzhang 说错了。是 Mac Studio 。
不过我看来看去。。。感觉还是买个 rog 幻 x 划算啊。也不重，出去玩日常还能玩。 |
 |
45
qW7bo2FbzbC0 16h 17m ago
@Gemini4422335 #3 怎么出内存？还能加内存？
|
|
46
babymonster OP @fs418082760 说不定也是呀
|
|
47
babymonster OP @94 本地部署如果有 CUDA 的生态的话，这个可以做成无限 token 调用呀，生图生视频
|
|
48
babymonster OP @fredweili 是呀，我们凑钱买了两台了呀，他只是想单独买呀
|
|
49
94 16h 4m ago
@babymonster #47 ，算力差太大了吧…… 速度能看到交付的产物差，交付结果能看的就速度慢。
现在本能跑能用（生产力提升）的就只有翻译能力或者对话吧。其他的差距太明显，要不然就是当玩具，绕过限制玩一下涩图生成？ |
 |
50
fcten 16h 2m ago
395 1w2 能买到的时候是真划算，应该是本地部署性价比最高的选择了，现在的价格嘛也就那样。
再好一点的选择是 M5 Max 128G 。 想要用 N 卡的，我只推荐两个：4090 48G （双卡） 或 RTX PRO 6000 ，但是这两个均没有保修。小白慎重考虑。 Jetson 系列和 DGX 系列都不适合个人使用，买来纯属吃灰，买前面的至少还能打游戏呢[doge] |
 |
51
sh1qi 16h 2m ago
@qW7bo2FbzbC0 ai max+ 395 是核显占用内存做显存的
|
|
54
xiaomushen 15h 54m ago
@babymonster 人家也就 2 万预算吧？你一下子翻倍了。也许两万块对你来说不算啥，但对大部分人，恐怕不是笔小钱
|
 |
55
zoozobib 15h 52m ago
turboquant 、dflash 后的 395 更没优势了 , 吃的多和跑得快完全不是一个维度
|
 |
56
Daitabashi 15h 48m ago
英伟达的卡 显存是和算力绑定的 为了大显存买 5090 不合算
AI Max 类似苹果的统一内存 想要多少焊多少 不用为用不到的计算性能买单 |
 |
57
diudiuu 15h 38m ago
买 dgx spark 的也是韭菜啊
|
 |
58
nightlight9 15h 37m ago
 jetson 都出来了，哪点比得上 395 了？ |
 |
60
MCVector 15h 32m ago
我买了两个 AMD AI Pro R9700 卡，感觉还行？ Vulkan backend 性能有时比 ROCm 略好一点。
|
|
61
xiaomushen 15h 31m ago
@MCVector 前两年是真的很坑，今年很多坑都补上来了。当然，肯定不如 Cuda 好用
|
 |
62
geekvcn 15h 22m ago 1
英伟达水军是真的多，AI 小白不懂装懂的也真是多。
|
 |
63
rammiah 15h 20m ago
感觉反了
|
 |
64
Curtion 15h 18m ago
我就买了 395 ，1.2w 的价格，128G 显存的还有哪个机器可以做到? 而且推理不一定要用 CUDA 啊，我连 ROCm 都没用，我用的是 vulkan 缺点就是用不了 DFlash, 跑 27B 稠密模型瓶颈在算力上, 但是可以相同速度跑 122B-A10B 的 MOE 模型
|
 |
65
neptuno 15h 17m ago
他可能也就想想，买回来更多是打游戏
|
 |
66
zycode 15h 17m ago
主要是硬件性价比高，不过 rocm 确实是容易各种不兼容
|
 |
67
catazshadow 14h 34m ago via Android
Rocm 最大的坑是明年就不支持老卡了
|
|
68
babymonster OP @94 你用过 z-image 吗？我感觉他这个配合 ComfyUI 来生图还是挺好的呀，不光是生图像，什么 TTS 、ASR 都还好呀
|
|
69
babymonster OP @fcten 专业级显卡跟消费级显卡需要有打游戏的这个对比吗？那 H100 和 H20 难道这种显卡也要去打游戏吗？
|
|
70
babymonster OP @Curtion 只能跑 27B 吗？ GTP OSS 120B 可以跑吗？而且 AMD 可以做算力堆叠或者串联吗
|
 |
71
yoshiyuki 14h 5m ago
便宜和好买
|
 |
72
jaoyina 13h 53m ago
|
|
73
xiaomushen 13h 48m ago
@babymonster Qwen3.6 27b dense 模型，非常强了。两万块就能跑，不是挺好么？你非要推荐 4 万以上的...瞧不起别人没钱？
|
|
74
xiaomushen 13h 47m ago
@geekvcn 我觉得楼主是个富哥。几万块差价，在他眼里根本不屑一顾
|
 |
75
565656 13h 36m ago
AMD 的东西一生黑 我打游戏都买的 285K 没买 x3d ，之前就发现 AMD 待机的风扇就叫不停好讨厌
|
 |
76
adoal 13h 34m ago
因为 Jetson 和 DGX 真的是只能“部署大模型”，除此之外对个人用户没啥用……
|
 |
77
jjx 13h 29m ago
哎,一直想入手创 13pro 联名版 128g+1t, 看着它从 2 万涨到 3 万
|
 |
78
sherg98 13h 24m ago
很简单，大模型对显存的需求是刚性的，普通人也不可能去买很多张算力卡去组 gpu 服务器，AI MAX+ 395 虽然吐词速度不行但确实能跑，价格也相对来说比较友好
|
|
79
sherg98 13h 22m ago
真相同显存不得上两张 4090 48g 或者保修的话 rtx pro 6000 ，这个价格差的就多了
|
 |
80
NiceKlaus 13h 15m ago
本地部署 1w 左右能行吗，单显卡预算
|
|
81
94 13h 15m ago
@babymonster #68 ，可能还是你们有钱吧，几万花着不心疼。
生图我就是上头的时候跟着突破限制的教程本地跑了一下，劲过去了之后就没在用过了。 TTS 的话直接调 API 真的很廉价了，而且还有免费额度。ASR 本地跑小模型我的办公电脑没显卡也完全可以胜任。 |
|
83
xiaomushen 13h 1m ago
@adoal OP 不差钱，还看不惯别人没钱，嘻嘻
|
 |
84
nrtEBH 12h 48m ago
为什么觉得 AMD AI MAX+ 395 是割韭菜 逻辑在哪里？？
本来就是各有擅长 用割韭菜来形容有点不够技术过于傲慢了 |
|
85
Curtion 12h 39m ago
@babymonster #70 GPT-OSS-120B 是一个激活参数只有 5.1B 的 MOE 模型，可以跑，但是实际上这个模型不如 Qwen 3.6 27B ，不过 GPT-OSS-120B 速度确实会更快, 395 更适合 MOE 模型
|
|
86
94 12h 36m ago 1
@babymonster #68 ，接#81 ，所以如果现在非要找一个在本地跑的需求，可能就是跑一个 7b 左右的小模型来做 AI 翻译以减少开销？
不过其实有大量的翻译需求，也是肯定是业务上面的需求，直接用公司给的额度安排翻译任务就好了。个人看文章翻译日常用各家翻译 API 的免费额度我都用不完的…… 如果是作为开发用途的，很明显能在本地跑的模型和线上的参数量级差太多了，是不会考虑的在本地跑的。所以非常不理解花大价钱买显卡、计算模块在本地跑模型的目的到底是为什么。 |
|
87
babymonster OP 就这么说吧，如果你们去买的话，是会买 AMD max 395 还是英伟达的？
|
 |
88
Maybez007 12h 20m ago
目前来看 AMD 、mac 确实比 NVIDIA 的方案便宜很多。所以选 NVIDIA 方案的原因是？
|
 |
89
lithiumii 12h 13m ago via Android 1
看内存带宽，DGX spark 跟 395 半斤八两（英伟达稍强一点点，但都远不如一个正经显卡）。跑 llm 推理的话反正都是 llama cpp 搞定，不像训练你还要自己折腾 ROCm 。所以哪个便宜买哪个。但买 amd 的好处是你还能获得一个标准的 x86 电脑当服务器用
|
 |
90
cheng6563 12h 5m ago
道理都懂，问题是，5090 才几个 VRAM ？难道你还想买 H100 ？
|
 |
91
Miary 12h 0m ago
又不搞训练，买 395 有什么问题？抛开预算谈方案都是扯淡。
|
|
93
xiaomushen 11h 58m ago
@babymonster 抛开钱包谈的话，我也想买法拉利
|
 |
95
SakuraYuki 11h 23m ago
买东西不看价格还行，黄狗的黄金显存是普通消费者能承受的？还是说 op 的 5070ti 有足够显存跑 128b ，普通人谁吃多了没事干买 DGX 专门就为了跑个 ai
|
|
96
SakuraYuki 11h 20m ago 1
@xtreme1 大脑升级速度遥遥领先各类 llm
|
|
97
babymonster OP 1
@xtreme1 我应该是发育了，不知道你的大脑发没发育
|
|
98
xiaomushen 11h 17m ago
@SakuraYuki 主打一个不缺钱嘛
|
 |
99
wclebb 11h 15m ago
主要还是看个人的预算方案吧。
|
 |
100
laminux29 11h 13m ago
各有各的优势。
AMD 、MAC 主打一个性价比。如果你已经确定，你需要用的某款模型，能在这种平台上面稳定跑，那么选这些非 N 卡平台，性价比更高。 但如果你经常换模型，或者自己搞各种与 AI 相关的开发，追求灵活性、兼容性、可调试性，那么必然要买 N 卡了。 |
Select Language