鸿雁输入法——整句输入法中一颗冉冉升起的新星

etanalyst · 2022 年9 月 13 日 01:43

大神用心良苦啊

好东西

感激感恩

慢慢优化

一步一步来

hongyan30 · 2022 年9 月 13 日 02:04

理想与现实是存在差距的。

现代汉语词典有5万多个词条，您可以看到那本词典像砖头一样厚。

语料库分析采用的暴力穷举的方案，和结巴分词采用的语义学分析是不一样的。

2471万逐一检验的成本太高。

这个时候开启用户词典可以部分地减少废词的干扰。

我也知道会会现不少不当位置切割获得的“垃圾”词语。

这样有利也有弊。

可能最大的好处是，在整句输入的时候，准确率更高。

目前中文分词的技术，还比较落后，质量最好的结巴分词也会出现错误的分词。
语言分析的技术还没有发展到高度成熟的境界。

目前的办法是，成本比较低，技术上可行的方案。

机械分词确实会产生在语义分割上不合适的词语。

换一个角度看待问题，阿尔法狗没有学习人类棋谱，自我博弈到达一定次数后，打败天下无敌手。

或许，在人工智能，或者机器的眼里，这些不当的词语的存在反而是合理的。

hongyan30 · 2022 年9 月 13 日 02:11

我曾经天真的认为百度必应的搜索引擎的关键字搜索结果数量可以从一定程度上量化表示一个词语的频率。

后来，实践告诉我，这个数值极其不准确。当时我的电脑抓取了三四次500万+的网页，流量有8TB。后来发现词频统计还得自己动手去统计，搜索引擎那个数据和真实的数据相差太多。

可能搜索引擎并不是使用的是全文搜索引擎，而是一种经过人工优化的中文分词算法。

ad困困 · 2022 年9 月 13 日 02:20

词库增强包安装到什么位置合适？搞了几次没成功，是不是解压到D:\Program Files (x86)\Rime\weasel-4.0.0.0\data\build目录下？
如果失败了到话输入法就一直提示部署中无法使用，只好卸载重装

etanalyst · 2022 年9 月 13 日 02:34

请大神讲一下安装配置
一头雾水

hongyan30 · 2022 年9 月 13 日 02:40

先卸载旧版本的鸿雁输入法和小狼毫输入法

安装鸿雁输入法4.0.exe 到c盘默认位置
安装 Windows版_鸿雁输入法v4.0预编译词库索引(拼音、五笔)_2471万词语增强包.exe

上面的增强包会自动重启算法服务，会把词库索引自动覆盖到“C:\Users\你的用户名\AppData\Roaming\Rime\build”文件夹

接下来可以正常使用了

ad困困 · 2022 年9 月 13 日 02:42

c盘位置才行啊？

hongyan30 · 2022 年9 月 13 日 02:43

增强包是使用winrar制作的，使用winrar可以看到安装逻辑，有兴趣可以改动一下。

ad困困 · 2022 年9 月 13 日 02:49

Path=%SYSTEMDRIVE%%HOMEPATH%\AppData\Roaming\Rime\build
能用绝对地址不能该到安装目录 D:\Program Files (x86)\Rime\weasel-4.0.0.0\data\？？？

hongyan30 · 2022 年9 月 13 日 02:54

C:\Users\user>echo %SYSTEMDRIVE%
C:

C:\Users\user>echo %HOMEPATH%
\Users\user

etanalyst · 2022 年9 月 13 日 02:58

按照大神的提示在
32位windows7电脑
傻瓜式安装

使用了一下

桂枝二越婢一
这样的中医学专业词汇也可以轻松打出来

确实非常不错

ad困困 · 2022 年9 月 13 日 03:06

如何改我是不会啊能不能改到d盘位置？求指教

hongyan30 · 2022 年9 月 13 日 03:15

输入法“中”图标点击右键后会看到
用户文件夹和程序文件夹

用户文件夹在我的电脑里是 C:\Users\user\AppData\Roaming\Rime
程序文件夹在我的电脑里是 C:\Program Files (x86)\Rime\weasel-4.0.0.0

如果现在我把用户文件夹里面的所有文件全部使用火绒强制删除，点击重新部署，是可以把用户文件夹的文件重新生成的。

这个文件夹，是储存词库索引和最终输入法方案合成结果的。

增加包是覆盖的这个文件夹的索引。

程序文件夹是储存输入方案原始文件和输入法相关可执行文件的。

就算这个输入法安装在D盘，用户文件夹一般情况下仍然在C:\Users\你的用户名\AppData\Roaming\Rime

ad困困 · 2022 年9 月 13 日 03:20

我到输入法用户文件夹是D:\Program Files (x86)\Rime\weasel-0.14.3\user
程序文件是D:\Program Files (x86)\Rime\weasel-4.0.0.0
如此位置安装就提示失败

hongyan30 · 2022 年9 月 13 日 03:24

增强包的安装脚本改为

Path=D:\Program Files (x86)\Rime\weasel-0.14.3\user\build

用最新版的winrar打开增强包，修改注释中上面的配置，保存。

sansi · 2022 年9 月 13 日 03:56

鸿雁词库V4.0-飞燕伐檀版

赵飞燕体态轻盈，身轻如燕，传说中能作掌上舞，她是一位中国民间传说中最传奇和神话般的美女。

《伐檀》一诗，对那些尸位素餐的在位者进行了辛辣的嘲讽。

隆重发布鸿雁词库V4.0-飞燕伐檀版。

为什么发布这一版？：因为使用之后，发觉楼主发布的原词库的字频词频不合理的地方太多，所以小鸡上树，勉力调整一下。

发布说明：

由于楼主不愿意对其词库调整词频，无可奈何之下，我将楼主之鸿雁词库V4.0词库（262万轻量级词库）词频调整后，姑且称之为“鸿雁词库V4.0-飞燕伐檀版”，发布出来，以期改善词库，请大家品鉴。
词频调整后，整个词库的可用性、实用性、词频合理性大大提高，或许提高10倍，基本上达到日常和工作环境可用的级别。但是本人能力有限，仅仅是用正则做了僵硬的调整，并且受原材料的器质局限，调整后的词频和字频仍不是最佳的。下面我会介绍调整的方法。期望方家更好地调整，造福论坛。如果楼主能出手改良原词库，那最好不过！
相对于楼主的原版，这里的飞燕伐檀版仅仅调整了词频和字频，词条没有删减。
鸿雁词库很有前途，期望楼主不断改进。

鸿雁词库V4.0-飞燕伐檀版的词频字频，相对于原版的调整示意如下：

具体来说，就是用 GitHub - rime/rime-pinyin-simp: 【袖珍簡化字拼音】輸入方案的频率对鸿雁原词库频率进行改良。如果一个字或词在袖珍简化拼音词库/输入方案存在，而且在鸿雁原词库存在，那就改变原鸿雁原词库中该字词的频率，改成两个频率相加；这其中的思路就是，袖珍简化拼音词库是一个极小的词库，其中的字词都是高频的，在鸿雁输入法词库中，应该让同样的字词也高频。一看便知，这种调整是僵硬的，但本人能力有限，有心无力，只能这样了；但无论如何，调整后的效果非常好，频率合理性提高10倍，大大提高原词库的可用性。这样的调整，或许有什么副作用吧，目前出不看来，还未发现。