V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 796 days ago, the information mentioned may be changed or developed.
I 家 A 家不都出了新一代的笔记本 CPU ，不约而同都集成了 NPU 芯片，然后网上的通稿都号称能跑 stable-diffusion 大模型。现在这些笔记本也都开卖了，有人实际测试过跑大模型要怎么跑吗？
https://imgur.com/RJqXfiy
我对 NPU 的印象就是能效比较高，但是适用范围很窄，只能适配一些提前设定好的程序或算法，比方说运行 Windows 内置的语音识别图像识别功能。我觉得通稿里测的这个 statble-diffusion 应该不是通过常规方式运行的，可能需要修改源代码，毕竟 Pytorch 都没有给 NPU 适配的版本，但是通稿里对这些都没说清楚，也没人真的跑过，所以好奇是怎么回事。
https://imgur.com/Jq09ryn
https://imgur.com/RJqXfiy
我对 NPU 的印象就是能效比较高，但是适用范围很窄，只能适配一些提前设定好的程序或算法，比方说运行 Windows 内置的语音识别图像识别功能。我觉得通稿里测的这个 statble-diffusion 应该不是通过常规方式运行的，可能需要修改源代码，毕竟 Pytorch 都没有给 NPU 适配的版本，但是通稿里对这些都没说清楚，也没人真的跑过，所以好奇是怎么回事。
https://imgur.com/Jq09ryn
 |
1
James369 Feb 24, 2024
看成了移动手机，NPU 一般对向量矩阵操作有加速作用，不清楚 PC 上是走什么软件接口
|
 |
2
ModerRAS Feb 24, 2024 via iPhone
amd 的用他专用的 pytorch 或者 onnxruntime 就行，然后需要装一下 ipu 驱动，只能跑 int8 量化的模型
|
 |
3
THESDZ Jun 4, 2024  1
|
|
4
THESDZ Jun 4, 2024
@THESDZ #3 https://github.com/airockchip/rknn-toolkit2 这是 rk 芯片开发板的 npu 相关的工具包
|
Select Language