V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
yaakua
V2EX  ›  分享创造

和香港同事开会总是听不太懂粤语,我用 Tauri 搓了个实时字幕工具 (macOS/Win)

  •  
  •   yaakua · 9 小时 46 分钟前 · 1268 次点击

    和香港同事开会总是听不太懂粤语,我用 Tauri 搓了个实时字幕工具 (macOS/Win)

    在一家跨地区团队工作了一段时间后,我发现一个挺真实的痛点:会议语言有时候是粤语。

    虽然大家也能切换普通话或英语,但很多时候讨论进入状态之后,自然就会变成粤语交流。其实我自己最近也刚好在学粤语,但如果你不是长期在粤语环境里,在工作场景下会遇到一种很微妙的情况:

    不是完全听不懂,但经常只能听懂七八成。

    特别是遇到一些香港本地表达、粤语里夹杂英文、多人同时快速讨论的时候。结果就是:会议能跟上大概意思,但细节容易漏掉。有时候大家已经开始讨论下一个问题了,我还在脑子里 compile 上一句到底说了什么。

    久而久之觉得挺影响沟通效率,所以后来我就做了一个自己用的小工具: 把电脑里播放的粤语语音,实时变成中文字幕。

    当然不止是粤语翻粤,英语、日语、韩语等都可以。

    网站:https://fanyueai.com/


    解决的其实就是一个很简单的场景

    我做这个工具最初只有一个目标:开会的时候能实时看到字幕。

    不管是 Zoom 、Google Meet 、Teams 还是网页版会议,只要电脑里有粤语语音,它就会:

    1. 实时监听系统级音频
    2. 实时识别粤语并翻译
    3. 用一个悬浮字幕条显示出来

    当有人语速很快的时候,看一眼字幕基本就能跟上内容。因为是系统级音频监听,所以平时用来看港区 YouTube 、听粤语播客,或者看没字幕的生肉视频也都能顺带用上。

    • 主界面 image.png

    • 实时字幕界面 image.png


    聊聊技术演进和踩坑

    一开始我也想过做成某个会议软件的插件,但大家用的软件太杂了,最后决定直接做系统级监听。

    客户端我个人比较反感那种动不动就吃掉几个 GB 内存的 Electron 巨兽,所以:

    • 技术栈: 选了 Tauri 来打包,客户端做得很轻(大概二十多 MB ),内存和 CPU 占用基本可以忽略不计。
    • UI 设计: 没有花里胡哨的主题切换,直接做成了类似苹果原生的深空灰暗色调,主打一个开会时悬浮在屏幕边缘“不喧宾夺主”。

    关于核心的翻译延迟问题,其实经历过一次重构:

    一开始的 V1 版本,我图省事直接接了阿里云的自动识别与翻译 API 。调用一个接口就能出结果,开发确实快,但效果很感人:机器味重、识别不准,而且延迟太高,开会用起来有明显的割裂感。

    后来痛定思痛改了架构。最近刚好发现 Google 新出了 gemini-3.1-flash-lite 模型,测试了一下发现用来做实时翻译简直是神器:速度极快,翻译的人话味道很浓,最关键的是支持自定义提示词(可以喂给它一些团队开会常用的 IT 缩写和黑话)。

    所以现在的版本改成了:实时语音识别 + 实时流式调用大模型 API 进行翻译。目前把整体的延迟压在了开会完全可接受的范围内。


    如果你刚好有类似场景

    目前打包了 macOSWindows 版本( Windows 没测太多老系统,目前 Win10 及以上可以正常跑)。

    如果你也是在香港工作的内地开发者,或者有远程和港区团队合作的需求,可以试试这个工具:

    [https://fanyueai.com/?ref=BRSLH8JQ](通过邀请码注册即赠 120 分钟时长。点击体验: https://fanyueai.com/?ref=BRSLH8JQ)

    给刚注册的新用户默认塞了 15 天体验和 90 分钟的翻译时长,基本足够大家开几次会,或者看个视频体验一下效果了。

    我自己也是一边用一边慢慢迭代,如果大家体验后觉得有什么 Bug ,或者在技术实现上(特别是跨平台音频流处理这块)有更好的思路,欢迎在帖子里吐槽交流,我下班后去修。

    11 条回复    2026-03-08 15:33:25 +08:00
    sanebow
        1
    sanebow  
       9 小时 27 分钟前 via iPhone
    看起来不错支持一下
    yaakua
        2
    yaakua  
    OP
       9 小时 8 分钟前
    @sanebow 感谢,欢迎多试用,提建议
    Shing
        3
    Shing  
       8 小时 52 分钟前 via iPhone
    不错,港粤能听得懂,但粤西地区的有些是难懂的,可以测试一下。
    yaakua
        4
    yaakua  
    OP
       8 小时 0 分钟前
    @Shing 现在的大模型针对特别小众的语言识别还是有困难,除非单独使用这个地区的语言训练过的模型(市面上也有,但是不多,且大部分是开源的没有直接 api 可以对接)
    kenshinhu
        5
    kenshinhu  
       5 小时 17 分钟前
    我想知道 粤韵风华之类的内容会怎样翻译?
    Rrrrrr
        6
    Rrrrrr  
       4 小时 55 分钟前
    其实就推广帖?
    jiji262
        7
    jiji262  
       4 小时 28 分钟前
    不开源么?
    yaakua
        8
    yaakua  
    OP
       4 小时 6 分钟前
    @Rrrrrr 好产品,好工具值得推荐,也值得推广
    yaakua
        9
    yaakua  
    OP
       4 小时 6 分钟前
    @jiji262 没啥开源的必要,这个就是给普通不懂技术的人使用的,开源只会让更多懂技术的人复制更多类似的产品。没意义
    byp
        10
    byp  
       2 小时 52 分钟前
    豆包已经支持方言了,开会的时候把豆包打开放旁边就行了,实时翻译
    wonderfulcxm
        11
    wonderfulcxm  
       2 小时 52 分钟前 via iPhone
    那理论上可以翻译任何语言显示字幕,不限于粤语吧
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2710 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 10:25 · PVG 18:25 · LAX 03:25 · JFK 06:25
    ♥ Do have faith in what you're doing.