bluryar's recent timeline updates
bluryar

bluryar

V2EX member #591485, joined on 2022-08-17 12:06:20 +08:00
bluryar's recent replies
Nov 7, 2025
Replied to a topic by Sh1xin Local LLM 私有化部署 LLM 及 LVM 选型方案意见收集
@Sh1xin 4 张卡是全用于部署 LLM 还是需要部署包括 LLM\Embedding\Reranker 在内的所有模型?工作流复杂的情况下,你还有可能需要部署小参数的 LLM 。OCR 不知道部啥,就跑一个 MinerU 吧。

您的应用还没搭建起来其实也说不清楚需要什么样的模型。作为网友当然是建议参数越大越好。
@coefu “和别人辩论” 不知道您从哪里感觉到我在和人辩论,我只是一个往互联网公测拉粑粑的过客。 少用 xxx ,具体您认为应该少用啥?
Nov 7, 2025
Replied to a topic by Sh1xin Local LLM 私有化部署 LLM 及 LVM 选型方案意见收集
@Sh1xin 没场景就随便部署一个交差
Nov 7, 2025
Replied to a topic by Sh1xin Local LLM 私有化部署 LLM 及 LVM 选型方案意见收集
1. AWQ ,最低的硬件要求除个 4 即可
2. 4 张卡都用来跑 LLM 的话,其他小模型跑在哪?
Whisper 好像能转录的同时翻译,但是 Whisper 本身训的时候中文就不怎么样,其他人可能会微调这个任务,但是都上机器上数据微调了,咋可能免费呢
Nov 7, 2025
Replied to a topic by Sh1xin Local LLM 私有化部署 LLM 及 LVM 选型方案意见收集
LVM 为什么和 LLM 是排他的,这个配置:QuantTrio/Qwen3-VL-235B-A22B-Thinking-AWQ 洒洒水
评论区看到国产就只想到昇腾吗,除了情绪啥也看不到,MOE 时代,NVLink 的国产替代方案比芯片算力更加需要关注吧。

软件方面,国产芯片公司都会养团队去适配特定的 LLM ,其他非 LLM 模型的适配虽然细碎,LLM 可不一定差到拿不出手。VLLM 、SGLang 也在积极接受国产芯片的适配 PR 吧?
爬虫, 我自己用 RSSHub + Miniflux, RSSHub 会比较及时的维护目标网站的适配. 我自己写了个套壳 UI

- [RSSHub]( https://docs.rsshub.app/) - 算是另类的爬虫? - 网页转成 RSS 订阅源
- [Miniflux]( https://github.com/miniflux/v2) - 订阅 feeds, 加了一些分组\用户之类的功能, 也提供 API 供外部调用, 也有一个极简的 WebUI
- [NuxtFlux]( https://github.com/bluryar/nuxtflux) - 套壳 UI, 我模仿下面这个项目写的
- [ReactFlux]( https://github.com/electh/ReactFlux) - 套壳 UI

About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1235 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 17:11 · PVG 01:11 · LAX 10:11 · JFK 13:11
♥ Do have faith in what you're doing.