公司一个台式机想作为服务器部署本地大模型，怎么在局域网使用呢

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 441 days ago, the information mentioned may be changed or developed.

需要申请公网 IP 吗，只是公司内网使用？不太懂网络，需要大佬解答一下

台式机

服务器

局域网

21 replies • 2025-03-11 11:51:12 +08:00

liu731

PRO

Feb 21, 2025

https://www.gradio.app/

cheng6563

Feb 21, 2025

直接 ollama 就能启动并暴露 OpenAI 兼容的 API ，然后再随便套个 GUI 就行了。

xzg1993

Feb 21, 2025

台式机的性能够吗。

xinhaiw

Feb 21, 2025

@cheng6563 直接通过局域网 IP 例如 192.168.1.100 这种就可以吗？

tool2dx

Feb 21, 2025

@xzg1993 正常来讲是不够的，台式机显存太小了。

看 github 上各种神仙后续优化了，会不会有技术突破。

本地只能跑残血版，还不如让同事直接用满血版 API 。

proxytoworld

Feb 21, 2025

内网使用有内网 IP 就行了，用 ollama 有 api ，本地装一个客户端就行了

fishlium

Feb 21, 2025

我们搞了一台 8 卡 4090 不太够用

E2gCaBAT5I87sw1M

Feb 21, 2025

得 8 张 H100 才能跑 671b 全量版本，价值人民币 200 万元。

wu00

Feb 21, 2025

”一个台式机“
这种情况，本地部署不是用来学习的吗

adguy0228

Feb 21, 2025 via Android

把防火墙关了，然后套个 openwebui 就可以给别人用了

julyclyde

Feb 21, 2025

现在就连不会计算机基本操作的人都要搞 AI 了
我看这 AI 很快就要凉了

wangyuescr

Feb 21, 2025

@julyclyde 这才是互联网的魅力好吧

julyclyde

Feb 22, 2025

@wangyuescr 用户玩玩闹闹也就算了；从业人员不宜这样

xinhaiw

Feb 22, 2025

@julyclyde 老哥，我只是不懂网络，我之前开发都是云上开发的，没本地局域网部署过

julyclyde

Feb 22, 2025

@xinhaiw 不止。你对服务器应该也没什么概念

xinhaiw

Feb 22, 2025

@julyclyde 我开发好几个电报机器人，都盈利了，你说我不懂...

Mingcr

Feb 22, 2025 via Android

@xinhaiw 啊，TG 机器人🤖找台服务器吧

julyclyde

Feb 22, 2025

@xinhaiw 拿结果反推，缺乏基本逻辑啊
逆命题和原命题就没什么关系

再说 tg bot 才费多少资源

coefu

Mar 1, 2025

@xinhaiw 只能说你基本功太差，这种问题，问 deepseek 就行，还专门开一贴。属实菜。

volvo007

Mar 4, 2025

本地部署的话完全可以封闭，应该不需要公网 ip

cander0815

Mar 11, 2025

大佬，请问怎么实现让 deepseek 这种存文字模型的可以解析图片？