V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 711 days ago, the information mentioned may be changed or developed.
指拆分模型多卡跑单图，不是多租户负载均衡/多实例并行那些。
最近刚好淘汰下来若干个 8G 显存的显卡，本来想塞一起整个 comfyui 玩玩，给显存来个合成大西瓜。
但整一半发现 comfyui 貌似干不了，只能多实例，单卡显存依然是个问题。
StableSwarmUI 看起来好像也是多实例？
多卡跑单图可行么？不可行的话原因出在哪？
最近刚好淘汰下来若干个 8G 显存的显卡，本来想塞一起整个 comfyui 玩玩，给显存来个合成大西瓜。
但整一半发现 comfyui 貌似干不了，只能多实例，单卡显存依然是个问题。
StableSwarmUI 看起来好像也是多实例？
多卡跑单图可行么？不可行的话原因出在哪？
 |
1
jZEdn7k4 May 16, 2024  1
现在一般 DL model 都不考虑多卡串行了，基本都是 dataparallel 多卡同时跑大 batch size ，但前提是一张卡至少能跑一张图，你这个需求可能很难
|
 |
2
et5494 May 16, 2024
你说的是推理还是训练?
|
Select Language