鸿雁输入法——整句输入法中一颗冉冉升起的新星

您的意思是默认开启用户词典对用户是有好处的。至于打乱 原有词序,干扰盲打的担忧 是无稽之谈。

英文词语联想,词库有,码表策略是有,现在就是缺少施工。

目前在搞法律和医学语料,耐心等待。

2 个赞

期待,耐心侯着

等待和期望

这就是生活的真谛

本论坛是个语言学习论坛,尤其是英文处于主导地位。所以英文联想输入应该是最热门的。个人建议在本论坛大神能多关注英文联想输入。
谢谢!

2 个赞

@Vim 不小心把这个帖子设置成回复给您之前的一个帖子了。想修改,但是一时找不到门道。打扰了!)
@hongyan30 反映问题:发现“鸿雁拼音 腾讯词库测试版·全拼v0.2 输入方案”更多缺失的词汇。

缺失词汇举例:

更适用
狠心的

以及以前汇报过的缺失词汇:

实在是
不想去
想问的是

鸿雁2471万码表的词汇很全面, 鸿雁2471万码表本来是含有这些词汇的,但这些词汇是词汇组合,像腾讯+百度百科+汉语大词典等等一般不包含的,所以2471万码表和别的词汇表(腾讯+百度百科+汉语大词典等等)取交集的时候,这些词汇组合被筛除掉了。也就是由于的别的词汇表不全面,造成交集后缺失一些词汇。但是一般的输入法码表(RIME官方、四叶草、8万精准小词库等)更可能包含这些词汇组合。

建议:楼主在取交集的时候,是不是也考虑参考一些其他输入法词库(RIME官方、四叶草、8万精准小词库等)?同时,常规词汇(比如各大汉语词典一般包含的词汇)应该早已足够了,楼主也许不必再过多的在百度语料等资料上求索了。窃以为,如果楼主有时间精力,目前几个值得改善的地方有:

  1. 词汇缺失
  2. 废词/无用词(如 次哭 这样的词)过多。虽然在最新的词库里, 次哭 已经删除。但是会不会有其他类似的词,我一时还想不起例子。
  3. 词频优化
  4. 注音准确性
  5. 输入法码表/词库设计理念创建:如 次哭 一词能不能视为有效的词条;如果在语料库中 次哭 词频高,那在码表/词库里是不是也要高?语料库中的词频,是不是可以直接拿来用在码表/词库中?
1 个赞

新语料库大概要1.5天统计完成,看看能不能从统计学的角度解决这个问题

和其他词库合并会带来其他的词语。

实在没办法只能人工校核。

我个人使用2471万词库,开启整句引擎。不开启用户词典。
虽然存在一些废词,但对我来说已经影响不大。

1 个赞

非常感谢大神的辛苦付出!

我上面反映的问题,之所以发生,是因为取交集的时候,其他词汇表(腾讯+百度百科+汉语大词典等等)太小/不全面的原因造成的。究其原因,您是在制作输入法词库,而腾讯词库毕竟不是输入法词库,汉语大词典也基本不会抱括“实在是,不想去,想问的是”等这样的词条,因为它们的选词标准不一样。但这些词汇本来包含于鸿雁2471万码表里,只是取交集的时候删除掉了。取交集的时候,参考一些其他输入法词库就能解决这个问题,窃以为。

“鸿雁拼音 腾讯词库测试版·全拼v0.2 输入方案”十分可爱,还请楼主继续优化。

这样的衍生词语其实很多的

依赖人工审核效率并不高

如果有切实可行的算法,一下子找出几万个这样的词语,那才是最好的。

这样既稳定又可靠而且省力

另外在结巴分词的数据库里,没有 “实在是” 只有 “实在是高”

在试用结巴分词之后,发现这种分词方法不准确,速度慢,严重影响词频统计准确度

所以我另辟蹊径,开发了机械分词套件,使用go语言实现。

遇到性能瓶颈,使用多线程策略。

go语言搞不定的千万级别 数亿级别的数据汇总统计,改用c语言。

目前 结巴分词 百度飞桨分词 我看了一下,并不满意。

算法不太感兴趣,感兴趣的是相关的数据集。

一个狠心的 yi ge hen xin de 144
个狠心的 ge hen xin de 1154
么狠心的 me hen xin de 714
便是再狠心的 bian shi zai hen xin de 169
便是再狠心的人 bian shi zai hen xin de ren 168
便是再狠心的人也 bian shi zai hen xin de ren ye 168
便是再狠心的人也舍 bian shi zai hen xin de ren ye she 167
便是再狠心的人也舍不 bian shi zai hen xin de ren ye she bu 167
便是再狠心的人也舍不得 bian shi zai hen xin de ren ye she bu de 167
便是再狠心的人也舍不得去 bian shi zai hen xin de ren ye she bu de qu 167
便是再狠心的人也舍不得去忘 bian shi zai hen xin de ren ye she bu de qu wang 167
便是再狠心的人也舍不得去忘记 bian shi zai hen xin de ren ye she bu de qu wang ji 167
再狠心的人 zai hen xin de ren 171
再狠心的人也 zai hen xin de ren ye 171
再狠心的人也舍 zai hen xin de ren ye she 168
再狠心的人也舍不 zai hen xin de ren ye she bu 168
再狠心的人也舍不得 zai hen xin de ren ye she bu de 168
再狠心的人也舍不得去 zai hen xin de ren ye she bu de qu 168
再狠心的人也舍不得去忘 zai hen xin de ren ye she bu de qu wang 168
再狠心的人也舍不得去忘记 zai hen xin de ren ye she bu de qu wang ji 168
到即便是再狠心的 dao ji bian shi zai hen xin de 168
到即便是再狠心的人 dao ji bian shi zai hen xin de ren 167
到即便是再狠心的人也 dao ji bian shi zai hen xin de ren ye 167
到即便是再狠心的人也舍 dao ji bian shi zai hen xin de ren ye she 166
到即便是再狠心的人也舍不 dao ji bian shi zai hen xin de ren ye she bu 166
到即便是再狠心的人也舍不得 dao ji bian shi zai hen xin de ren ye she bu de 166
到即便是再狠心的人也舍不得去 dao ji bian shi zai hen xin de ren ye she bu de qu 166
到即便是再狠心的人也舍不得去忘 dao ji bian shi zai hen xin de ren ye she bu de qu wang 166
到即便是再狠心的人也舍不得去忘记 dao ji bian shi zai hen xin de ren ye she bu de qu wang ji 166
即便是再狠心的 ji bian shi zai hen xin de 169
即便是再狠心的人 ji bian shi zai hen xin de ren 168
即便是再狠心的人也 ji bian shi zai hen xin de ren ye 168
即便是再狠心的人也舍 ji bian shi zai hen xin de ren ye she 167
即便是再狠心的人也舍不 ji bian shi zai hen xin de ren ye she bu 167
即便是再狠心的人也舍不得 ji bian shi zai hen xin de ren ye she bu de 167
即便是再狠心的人也舍不得去 ji bian shi zai hen xin de ren ye she bu de qu 167
即便是再狠心的人也舍不得去忘 ji bian shi zai hen xin de ren ye she bu de qu wang 167
即便是再狠心的人也舍不得去忘记 ji bian shi zai hen xin de ren ye she bu de qu wang ji 167
好到即便是再狠心的 hao dao ji bian shi zai hen xin de 167
好到即便是再狠心的人 hao dao ji bian shi zai hen xin de ren 166
好到即便是再狠心的人也 hao dao ji bian shi zai hen xin de ren ye 166
好到即便是再狠心的人也舍 hao dao ji bian shi zai hen xin de ren ye she 165
好到即便是再狠心的人也舍不 hao dao ji bian shi zai hen xin de ren ye she bu 165
好到即便是再狠心的人也舍不得 hao dao ji bian shi zai hen xin de ren ye she bu de 165
好到即便是再狠心的人也舍不得去 hao dao ji bian shi zai hen xin de ren ye she bu de qu 165
好到即便是再狠心的人也舍不得去忘 hao dao ji bian shi zai hen xin de ren ye she bu de qu wang 165
好狠心的 hao hen xin de 273
昌芳说起狠心的丈夫赵 chang fang shuo qi hen xin de zhang fu zhao 125
昌芳说起狠心的丈夫赵珍 chang fang shuo qi hen xin de zhang fu zhao zhen 125
昌芳说起狠心的丈夫赵珍华 chang fang shuo qi hen xin de zhang fu zhao zhen hua 125
昌芳说起狠心的丈夫赵珍华时 chang fang shuo qi hen xin de zhang fu zhao zhen hua shi 122
昌芳说起狠心的丈夫赵珍华时语 chang fang shuo qi hen xin de zhang fu zhao zhen hua shi yu 121
昌芳说起狠心的丈夫赵珍华时语气 chang fang shuo qi hen xin de zhang fu zhao zhen hua shi yu qi 121
是再狠心的 shi zai hen xin de 170
是再狠心的人 shi zai hen xin de ren 169
是再狠心的人也 shi zai hen xin de ren ye 169
是再狠心的人也舍 shi zai hen xin de ren ye she 168
是再狠心的人也舍不 shi zai hen xin de ren ye she bu 168
是再狠心的人也舍不得 shi zai hen xin de ren ye she bu de 168
是再狠心的人也舍不得去 shi zai hen xin de ren ye she bu de qu 168
是再狠心的人也舍不得去忘 shi zai hen xin de ren ye she bu de qu wang 168
是再狠心的人也舍不得去忘记 shi zai hen xin de ren ye she bu de qu wang ji 168
有狠心的 you hen xin de 157
狠心的 hen xin de 13851
狠心的丈夫赵珍华时语气 hen xin de zhang fu zhao zhen hua shi yu qi 121
狠心的丈夫赵珍华时语气中 hen xin de zhang fu zhao zhen hua shi yu qi zhong 121
狠心的丈夫赵珍华时语气中充 hen xin de zhang fu zhao zhen hua shi yu qi zhong chong 121
狠心的丈夫赵珍华时语气中充满 hen xin de zhang fu zhao zhen hua shi yu qi zhong chong man 121
狠心的丈夫赵珍华时语气中充满了 hen xin de zhang fu zhao zhen hua shi yu qi zhong chong man le 121
狠心的人 hen xin de ren 1507
狠心的人也 hen xin de ren ye 182
狠心的人也舍 hen xin de ren ye she 168
狠心的人也舍不 hen xin de ren ye she bu 168
狠心的人也舍不得 hen xin de ren ye she bu de 168
狠心的人也舍不得去 hen xin de ren ye she bu de qu 168
狠心的人也舍不得去忘 hen xin de ren ye she bu de qu wang 168
狠心的人也舍不得去忘记 hen xin de ren ye she bu de qu wang ji 168
狠心的女 hen xin de nv 265
狠心的女 hen xin de nu 265
狠心的女人 hen xin de nv ren 189
狠心的女人 hen xin de nu ren 189
狠心的妈妈 hen xin de ma ma 237
狠心的父 hen xin de fu 1220
狠心的父亲 hen xin de fu qin 174
狠心的父母 hen xin de fu mu 930
美好到即便是再狠心的 mei hao dao ji bian shi zai hen xin de 167
美好到即便是再狠心的人 mei hao dao ji bian shi zai hen xin de ren 166
美好到即便是再狠心的人也 mei hao dao ji bian shi zai hen xin de ren ye 166
美好到即便是再狠心的人也舍 mei hao dao ji bian shi zai hen xin de ren ye she 165
美好到即便是再狠心的人也舍不 mei hao dao ji bian shi zai hen xin de ren ye she bu 165
美好到即便是再狠心的人也舍不得 mei hao dao ji bian shi zai hen xin de ren ye she bu de 165
美好到即便是再狠心的人也舍不得去 mei hao dao ji bian shi zai hen xin de ren ye she bu de qu 165
芳说起狠心的丈夫赵珍 fang shuo qi hen xin de zhang fu zhao zhen 125
芳说起狠心的丈夫赵珍华 fang shuo qi hen xin de zhang fu zhao zhen hua 125
芳说起狠心的丈夫赵珍华时 fang shuo qi hen xin de zhang fu zhao zhen hua shi 122
芳说起狠心的丈夫赵珍华时语 fang shuo qi hen xin de zhang fu zhao zhen hua shi yu 121
芳说起狠心的丈夫赵珍华时语气 fang shuo qi hen xin de zhang fu zhao zhen hua shi yu qi 121
芳说起狠心的丈夫赵珍华时语气中 fang shuo qi hen xin de zhang fu zhao zhen hua shi yu qi zhong 121
说起狠心的丈夫赵珍华 shuo qi hen xin de zhang fu zhao zhen hua 126
说起狠心的丈夫赵珍华时 shuo qi hen xin de zhang fu zhao zhen hua shi 122
说起狠心的丈夫赵珍华时语 shuo qi hen xin de zhang fu zhao zhen hua shi yu 121
说起狠心的丈夫赵珍华时语气 shuo qi hen xin de zhang fu zhao zhen hua shi yu qi 121
说起狠心的丈夫赵珍华时语气中 shuo qi hen xin de zhang fu zhao zhen hua shi yu qi zhong 121
说起狠心的丈夫赵珍华时语气中充 shuo qi hen xin de zhang fu zhao zhen hua shi yu qi zhong chong 121
起狠心的丈夫赵珍华时语 qi hen xin de zhang fu zhao zhen hua shi yu 121
起狠心的丈夫赵珍华时语气 qi hen xin de zhang fu zhao zhen hua shi yu qi 121
起狠心的丈夫赵珍华时语气中 qi hen xin de zhang fu zhao zhen hua shi yu qi zhong 121
起狠心的丈夫赵珍华时语气中充 qi hen xin de zhang fu zhao zhen hua shi yu qi zhong chong 121
起狠心的丈夫赵珍华时语气中充满 qi hen xin de zhang fu zhao zhen hua shi yu qi zhong chong man 121
这个狠心的 zhe ge hen xin de 207
这么狠心的 zhe me hen xin de 470
陈昌芳说起狠心的丈夫 chen chang fang shuo qi hen xin de zhang fu 125
陈昌芳说起狠心的丈夫赵 chen chang fang shuo qi hen xin de zhang fu zhao 125
陈昌芳说起狠心的丈夫赵珍 chen chang fang shuo qi hen xin de zhang fu zhao zhen 125
陈昌芳说起狠心的丈夫赵珍华 chen chang fang shuo qi hen xin de zhang fu zhao zhen hua 125
陈昌芳说起狠心的丈夫赵珍华时 chen chang fang shuo qi hen xin de zhang fu zhao zhen hua shi 122
陈昌芳说起狠心的丈夫赵珍华时语 chen chang fang shuo qi hen xin de zhang fu zhao zhen hua shi yu 121
1 个赞

我有一些办法,不需要人工审核。切实可行的算法,基本是存在的,而且简单。不需要花钱。

  1. 批量寻找这样词的的具体方法:

您制作“ 鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案”时,应该是是在“鸿雁2700万词库” 和 (腾讯1前多万词库+百度百科+汉语大词典等)之间取得交集的。那能不能更新下?能不能在后者(腾讯1前多万词库+百度百科+汉语大词典等)中增添一些输入法类词库,比如 RIME官方词库,四叶草词库,搜狗词库等等,可以多添加一些这样的词库。这样取的的交集更可能包括“实在是,不想去,想问的是”这样的词条了。

  1. 另外,一个关于词频优化的方法,不需要人工审核,不花钱:就是,拿既有的一个别的词库的词频,来调整“鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案”词频。

目前“鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案”的一个问题是,比如 次哭 一词的词频高于 词库 一词,(次哭 一词在新版中已经删除掉了,我只是拿它举个例子),那可以拿一个小词库批量微调词频。比如 GitHub - rime/rime-pinyin-simp: 【袖珍簡化字拼音】輸入方案 是一个官方袖珍简化字拼音小词库。如果一个词出现在这个 袖珍简化字拼音 中,那可以认为这个词是真正的高频词,那在 鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案 中,人为地把该词词频提高;这样 词库 的词频 就会 高于 次哭;再举一个例子,想输入 每页 一词,它排在很后面。通过上述方法,可以将批量调整词频。这样,每页 这个常用词,在候选项中,更靠前。另外,袖珍简化字拼音 词库 也可以给 交集词库提供 词频,比如袖珍简化字拼音词库中 每页 的词频 高也 美也(美或者美也都不存在于 袖珍简化字拼音 中),那如是参考,对于“鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案”的词频做出相应地调整。

截图:想输入 每页 一词,候选项第一屏和第二屏
image image

  1. 利用同样的原理,参考一些权威拼音词库,也可以对“鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案”拼音进行校准。

以上是在下的业余想法,请楼主鉴别。

3 个赞

万分期待中
支持大神

采用其他词库,我以前有这样的想法,因为词频数据不准确 错误的分词也不少而放弃了
而且有的数据库明令禁止商用,或者授权协议比较苛刻。

现在想想,别人花费大量 人工的分词数据也不是一定没有价值。

我不直接引用这些数据,用他们来投票。

天下文章一大抄,抄抄改改,是可以的。

如果引用一本著作几句话,不构成侵权。

成段成段地引用,而且没有授权协议,构成侵权。

大神
原创的价值
毋庸置疑

相信自己

坚持自己的道路

请问作者什么时候支持 mac 呢?有这个计划吗

好像使用ma c平台主要是
视频剪辑,设计等专业人员
部分的软件工程师,ios开发者

我都没用过这个操作系统,应该和linux差不多,据说mac系统最初是在bsd unix上开发的。

从市场份额上说,这个一个小众的操作系统
从用户群体角度来说,这个高端的用户群。

其实吧,鸿雁输入法主要是一个码表方案,rime源代码就改动了一个整句引擎下的空格键映射。

这些移植起来并不困难。

能用得起mac的用户自然也会接触windows平台

linux用户也有这样的需求,一个词库安装 脚本

目前在windows平台将就先用一下吧。

用户数量足够多了,加上是开源的,自然有喜欢折腾的爱好者做出移植打包方案来。

可以直接使用RIME的mac版 + 鸿雁的词库/方案。

怎么没动静了?

应该是楼主大神正在潜心伏案制作吧!
期待更新版 (最好有英文联想功能) 横空出世!