V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
五一节假日期间，有一个同事想本地部署大模型，在群里询问，我们都给他推荐了 Nvidia 的卡，结果他去刷 B 站，选择了 AMD AI MAX+ 395 。
难道小白真的就这样被割韭菜吗？
难道小白真的就这样被割韭菜吗？
 |
101
mashimaroinfo1 11h 12m ago
@Vaspike 说这话的人目前正被唾骂, 安徽都不敢给它建塑像。
|
 |
102
c0xt30a 10h 51m ago
我猜 OP 或者给推荐的同事可能混过卡吧，给出的方案超出预算太多了。
即使年入过百万了，买 NV 系列的硬件部署本地大模型玩也是需要考虑下的。 |
 |
103
simo 10h 46m ago
还真考虑过 amd 这个方案，主要是价格和功耗，2w 左右，96G 显存，打算纯推理，能部署 glm4.7 flash ，qwen3.6 27B, 跑到 50t/s 就够了。
不知道有这套方案的 v 友，效果怎么样？ |
 |
104
0xC000009F 10h 45m ago
@babymonster #87 如果是你付钱的话你让我买啥那我就买啥
 |
 |
105
babymonster OP @0xC000009F 买一个能用了，不需要怎么折腾的，最好是有售后技术支持
|
 |
106
squarefong17 10h 18m ago
@simo qwen 的 27B 不是 MoE ，就算是 int4 量化也跑不到 50t/s ，任何带宽 200-300GB/s 的机器都不可能，不管你是苹果还是 NV 还是 AMD ，这个价位你能选的，M5 pro 、DGX 、jetson orion 都是四通道 LPDDR5(x)，带宽带宽上限锁死了。这种机器能跑到 30-50tokens 的是 35B-A3B 这种（这个数是 395 和 jetson orion 实测），只激活 3B 、5B 的。如果你真的只考虑 27B 这个规模，买张 48G 的 N 卡更合适，不怕炸的话，4090 48G 了解一下，1000GB 大带宽
|
 |
107
fcten 9h 44m ago
@babymonster 前半句不适合个人用户看不见？那你咋不给你同事推荐 H100 、H20 呢？预算不够 A100 也行啊？
|
 |
109
obeyatonce 7h 31m ago via Android
可能他的需求只是用，而非自己训练，市面上的 ai+395 的机器出厂基本都自带配置好的 ai 软件了，对于不了解的人肯定是直接买这种成品更省心
|
 |
110
leo72638 7h 28m ago via iPhone
NV 好是好，就是太贵了，便宜的卡 VRAM 太少了，大点的模型根本跑不了。相对而言大 VRAM 的 395 便宜不少，速度慢点但是起码能跑。
|
 |
111
greygoo 7h 15m ago
@Gemini4422335 #3 不了内存你想多了
|
|
113
greygoo 7h 4m ago
有没有可能就是 mac studio 买不到呢？
为什么适合部署本地大模型要考虑英伟达的卡，现在怎么多 Moe 瓶颈在内存上面，当然是选择 AMD AI MAX+ 395 或者 mac studio 。这个价位不用考虑 Nvidia Jetson Orin 64GB 、Nvidia Jetson Thor T5000 、Nvidia DGX spark ，都是同样的内存带宽。更高的带宽可以选 Mac m3 ultra 但是买不到。所以 395 算是个最优解了。如果要微调或者做其他魔法可能才考虑 nvidia 吧，但是这些任务也可以拿到云上。再说了 AMD AI MAX+ 395 现在又不是不能做微调了，现在也有 wsl 的驱动  ，可以装 windows 兼顾游戏。说实话啊，要是 thor 上面不是那 273GB/s 的带宽，都会无脑选 nvidia 的。 |
 |
114
ntdll 6h 52m ago
从某种意义上来说，这种选择也没毛病，比如要跑个 70B 甚至更大的模型，民用的 nVidia 卡已经无法满足，专业卡的价格也已经上天。而 AMD/Mac 这类统一内存的架构，至少能跑起来，虽然速度比不上纯显存，但是依旧比炸显存后，用内存来中转的情况下，快的多。
这类产品就是在民用的价格下，提供了一个能运行本地大模型的选择。 |
 |
115
Tony8Finet 6h 46m ago via Android
@94
|
 |
117
kennylam777 4h 36m ago
@squarefong17 對, 即使是 DGX Spark 這些小機器, VRAM 足夠但跑 20B 以上的 Dense 模型都太慢, 唯一寄望是 Active 單位數字的 MoE
我本地用兩片 3090 + NVLink, 用 vllm 跑 Gemma4 31B FP8 打開 Tensor Parallel, 吃了 800W 電力才剛剛好有 60 tps |
 |
118
SP00F 1h 9m ago
OP 真的犟啊。。。
用户用脚投票，普通人部署本地大模型自然而然考虑便宜好使的了。 DGX 不比 AMD 的贵？ AMD 我还能关模型打游戏呢，DGX 局限在哪你不看吗？ 我不想本地了我内存还能往二手市场上出，你 DGX 局限性又来了。 好了，你说用专业卡，专业卡多贵？本地又不做训练更不做商业化的服务我要那么多专业卡干什么，我上 AMD 不香吗😂 |
 |
119
dmine 4 mins ago
举个例子，我就是 395+gb10 ，
395 用来路上没网小用一下， coding 有 cc ，cursor ，antigravity ， nv 用来试试各种奇奇怪怪的 model |
Select Language