有无用于输入法联想的本地（小）大模型

难，需要区分不同软件，获取上下文，不容易做。
要不然容易把 word 里的上文，用来预测微信里和妹子聊天，
或者把跟女朋友调情的上文，用来预测跟上司的聊天，
都挺可怕的

iOS 的就内置了 transformer 啊，去年还是前年的 WWDC 特地说了

@luckykong 这部分应该是输入法处理的，不过上下文倒也不用那么长吧，我只想快速联想一个词或者一句，不用一大段

@ospider ios 的我又没法拿出来自己用...

@TrackBack #4 至少证明了这个方向是可行的，你的想法不是空想

这个想法我也想过，不过用了各种模型的补全功能后，目前阶段可能存在不太好调和的平衡点：
即速度和效果的平衡。
小模型效果不好，大模型速度慢，输入是需要非常快速的联想的，对比程序员的代码补全，模型的联想时间稍微长一点还能接受，但是输入就不一定能接受了， 不然产品就变成了另外的形态：输入后等待补全，选择继续...

可以反向操作，学形码（比如五笔、虎码），打字也还是一个一个字打，但不用去看候选框。这样不会出现隐私和候选不合适的问题。

有相同需求，持续关注···

@liangdi 有没有可能先用模型跑出最常用的一些词的词频，形成固定搭配；再内置一个 mini 模型来解决实时联想的问题。

手机这么搞会不会比较耗电 🤔️

这个我测试过，最好用的是 berth 模型，响应时间快，资源消耗小。不太长的短句输入足够了。

开源的可以参考 https://github.com/renatoviolin/next_word_prediction ，下载模型需要可以翻墙，或者设置 HF_ENDPOINT=https://hf-mirror.com 使用国内镜像。

英文的使用 bert-base-uncased 模型，中文使用 bert-base-chinese 模型比较好。我之前在阿里云上部署测试过，网络延迟 200ms 左右，本地部署的话 50ms 左右延迟（当然我本机是 M3 Max ，计算性能高很多）。

我之前给网友定制 iOS 输入法使用过上面提到的 bert 模型。

我觉得最简单的就是部署 Phi-3 这类的小模型， 不过如果是跨终端使用的话，还是要自己建立一个推理服务，实现相关的 API 和输入法对接程序

fcitx5 好几年前就有基于 3-gram 的联想了，然后也有人在做基于 LLM 的

试试 Chrome 内置的 Gemini 小模型呢

想法很好，我目前所在的部门就是做输入法

@Coelacanthus 有没有相关的链接，浅搜了一下没搜到

@newdongyuwei 感谢！这个看着挺靠谱，至少有个实例了

@TrackBack 前者 fcitx5-chinese-addons 装好就有（注意是 fcitx5 不是 4 ），后者的话是在 fcitx5 android 的群里

用 B 站的 index-B ，4BIT 1GB 版本，很快。