我自己的电脑是 5070Ti，总感觉跑一些模型算力不够

别难为 5070ti 了哈哈，买完整的 5090 无后缀吧，5070ti 规格太差了。5070ti 只有完整的 gb203 的三分之一多一点的 cuda ，放以前叫 5060se 差不多。

@q1169989139 阉割这么多

5090 都不够 还是要 6000pro

至少要 24G ，本地折腾显卡的话。

换魔改 4090 呗

@babymonster #6 租算力的话，国内用 AutoDL 比较多（国内网络环境，需要配置一下用镜像之类的来下载模型），国外的话就 vast.ai ，都不是特别贵。

部署什么模型 多少速度啊？我本地也想部署个 27B 的

放弃本地吧

本地模型，就算显存够的情况下，总感觉启动有点慢

你买得起的任何卡，都会让你产生“算力不够”的感觉，除非你能看得上一些弱智模型。

我也是 5070ti ，gemna4 26b a4b iq4xs ，速度 150t/s ，上下文开的 64k ，我觉得这个显卡算力一点也不差，差的只是显存。iq4xs 量化倒是还行，但这个量化我不太敢实践用

输出慢是因为你用内存跑了，那能快吗.......

一般来说,如果你的显存充足了,对应的算力又溢出了,所以最好还是购买线上模型

我感觉个人部署开源模型，唯一高性价比方案就是等 m5 macmini/studuo 出来，3w 左右的配置买一台。

除非是训练模型，那只能用 nv 。

在工作场景，除非是保密性极强的场景，否则自己搭建设备是下下之策。因为你自己搭建设备，个人出资，别说 GPT 和 Gemini 的水平，你甚至连豆包的硬件水准都达不到，输出速度肯定慢，智商必然很低，联网、记忆、工作流等常见功能还要自己去折腾。

保密性极强的场景，一般是找运营商或厂家定制设备，我了解到的一些公司，直接购买运营商定制的商用一体机，只是硬件的价格就是 150 万元起步的水准。这种硬件，以 32B + 16 并发的性能水准提供给普通用户做对话，或者以 70B + 3 并发的水准提供给领导做驾驶舱或报表，速度与智能都比豆包低很多，但因为保密是刚需，这已经是他们的最优方案了。

当然还有 2 类场景是适合自己搭设备，第一类是游戏高级玩家买顶配显卡，顺便偶尔拿来玩玩各种小模型；还有一类是喜欢搞各种限制级的内容输出，没办法用有法律限制的商用 API 。

35B ，把专家卸载到内存，速度已经够快了
27B ，就需要 32G 显存

性价比最高的应该是 AMD AI Max+395 迷你主机，2 万左右，标配 128G LPDDR5X 8000MT/s ，整机算例 126T 好像能跑 70B 的模型

@zushi000 太贵啦

@limon 租用吧

@laminux29 大佬说的太专业了