🙏🏻🙏🏻🙏🏻我是个小公司桌面运维,老板让我给他开发个 AI 大模型……

2024 年 8 月 20 日
 oColtono
如题
我在一家非 IT 行业的公司干桌面运维,说是运维其实啥都干,简单的服务器运维、直播推流、摄影摄像等等。老板基本上是个技术盲,在他眼里,技术相关的问题我全知道。

他想要有一个 AI ,把一位哲学家(比较小众)的文集通读一遍(大概 40 万字)。然后扮演这位哲学家,充当聊天机器人。这个聊天机器人的用户量估计不会太高(小众圈子里面流传一下),最多也就 1000 人左右(并发可能就 30 人以内)。

我说我干不来,他表示让我至少给个方案,适当招两个人,或者找人外包都行。

从头搞个 AI 模型我猜是不可能的,我大概想法是租个云服务器,给 Llama 3 或类似的开源模型喂点数据,然后套个前端。

希望懂行的朋友告诉我一下我的想法是否可行?以及这个事情工作量大不大。如果可行的话,我就去着手研究一下怎样微调 Llama 3 ,然后给老板一个方案。
20245 次点击
所在节点    职场话题
119 条回复
Lamlam147
2024 年 8 月 20 日
我赞同楼上配两块 4090 的建议,属实靠谱
Jinnrry
2024 年 8 月 20 日
好炸裂的需求
更炸裂的是你居然真打算去干
更更炸裂的居然是有人给楼主出主意去自己干

我的建议,打电话联系百度文心一言的商务,然后把报价给老板
a1oyss0925
2024 年 8 月 20 日
kimi 套壳就完事了,不要想一些不切实际的
teasick
2024 年 8 月 20 日
好奇是哪位哲学家
106npo
2024 年 8 月 20 日
国内的模型+rag 就行了,预算够 rag 都不用,直接上
osilinka
2024 年 8 月 20 日
李沐创业就是这个方向啊!
fkmc
2024 年 8 月 20 日
买设备,合规备案. 要么上游 api 套壳
shitshit666
2024 年 8 月 20 日
中文用通义千问
aoling
2024 年 8 月 20 日
最靠谱的方案,Llama 3 ,其他的多问几句都会露馅穿帮的
fcten
2024 年 8 月 20 日
40 万字不需要微调
30 个并发两块 4090 是不够的
2ruowqe9r
2024 年 8 月 20 日
这个不是很简单吗?各种开源的方案就能解决,搞个知识库,使用 RAG ,写好提示词。
greycell
2024 年 8 月 20 日
全是开源方案可太多了,你标题起错了,不然下面已经全是推广自己方案的人了。
adgfr32
2024 年 8 月 20 日
内容审核确实是个问题, 不如套国内大模型, 内容审核都是做好的
nyw17
2024 年 8 月 20 日
这不就 RAG 做的事情么,本地部署一下
Puteulanus
2024 年 8 月 20 日
我看成用户 30 以内了,还想说这么点人直接跳过 AI 招俩人扮演哲学家算了(狗头
ishengge
2024 年 8 月 20 日
先跟老板说硬件。4 张 H100 显卡
hongchang
2024 年 8 月 20 日
其实这个事情,真的不难。
先让你老板买显卡,然后花钱找人整理内容,喂给大模型微调一下就行了。
网上都有教程的。我跑过用 llama3 微调了一个甄嬛。

真的不难!!!!
nicholasxuu
2024 年 8 月 20 日
直说你不会呗,或者让用 kimi 之类的付费产品去。
不然咋样?让大家写个新手都能快速上手的私有部署大语言模型知识库教程?
winglight2016
2024 年 8 月 20 日
很简单,做个最基础的 RAG 就够了,可以外包给我,一周内搞定吧
keethebest
2024 年 8 月 20 日
最简单的方案就是直接套个皮,对接国内的 ai 。 豆包,kimi 都可以。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://study.congcong.us/t/1066362

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX