鸿雁拼音手机输入法安装步骤3.0，就是这个pdf文件？
是的，对比一下看看哪个步骤漏掉了
关于“鸿雁拼音 腾讯词库测试版·全拼v0.2 输入方案”中的词库，反映一些问题：
除了常用词汇（指短的词汇，比如一般词典会包括的词汇)，能不能关注下短句？比如，目前的词库不包含下面几个常用的短句：
实在是
不想去
想问的是
这几个短句案例仅仅随手发现的，可能有更多的短句案例等待发现、包括。
另外，我上面一回复帖子有说，“词频问题依然存在：天蝎（填写）教继续肆虐，重马（重码）压得人喘不过气来。历史太长（lishi一词下，有几百个选项），读不过来。 但好在楼主开放了词频自动调整选项，能缓解这种情况。”，其实想问的是，词频是否有待优化？因为在目前的词库中，天蝎 词频 大于填写；重马 的 词频 大于 重码。
1 Like
您这个处处提到了痛点。
目前计算词频的方法是取总和，可以看作是平均值，这个有待商榷，如何把微博语料库的拔高的词频降下来，这涉及到如何对一个不同区块的统计词频求最佳的“代表值”的问题。
第二个问题是如何保留那些在中文语法上是组合的词语，但是使用频率上却比较高，应该予以保留的组合词。
看起来是从产品上提出的基本功能诉求
背后涉及到算法的问题。
幸好，也不是没有解决办法。
昨天设置成功！
2点建议：
- 经常使用的词句(使用频次高)，根据使用情况排在前面，如：大神。
- 麻烦尽快推出英文单词联想用法。
注：找不到园圈中的1、2、3等序号。
您的意思是默认开启用户词典对用户是有好处的。至于打乱 原有词序，干扰盲打的担忧 是无稽之谈。
英文词语联想，词库有，码表策略是有，现在就是缺少施工。
目前在搞法律和医学语料，耐心等待。
2 Likes
期待，耐心侯着
等待和期望
这就是生活的真谛
本论坛是个语言学习论坛，尤其是英文处于主导地位。所以英文联想输入应该是最热门的。个人建议在本论坛大神能多关注英文联想输入。
谢谢！
2 Likes
（@Vim 不小心把这个帖子设置成回复给您之前的一个帖子了。想修改，但是一时找不到门道。打扰了！）
@hongyan30 反映问题：发现“鸿雁拼音 腾讯词库测试版·全拼v0.2 输入方案”更多缺失的词汇。
缺失词汇举例：
更适用
狠心的
以及以前汇报过的缺失词汇：
实在是
不想去
想问的是
鸿雁2471万码表的词汇很全面， 鸿雁2471万码表本来是含有这些词汇的，但这些词汇是词汇组合，像腾讯+百度百科+汉语大词典等等一般不包含的，所以2471万码表和别的词汇表（腾讯+百度百科+汉语大词典等等）取交集的时候，这些词汇组合被筛除掉了。也就是由于的别的词汇表不全面，造成交集后缺失一些词汇。但是一般的输入法码表（RIME官方、四叶草、8万精准小词库等）更可能包含这些词汇组合。
建议：楼主在取交集的时候，是不是也考虑参考一些其他输入法词库（RIME官方、四叶草、8万精准小词库等）？同时，常规词汇（比如各大汉语词典一般包含的词汇）应该早已足够了，楼主也许不必再过多的在百度语料等资料上求索了。窃以为，如果楼主有时间精力，目前几个值得改善的地方有：
- 词汇缺失
- 废词/无用词（如 次哭 这样的词）过多。虽然在最新的词库里， 次哭 已经删除。但是会不会有其他类似的词，我一时还想不起例子。
- 词频优化
- 注音准确性
- 输入法码表/词库设计理念创建：如 次哭 一词能不能视为有效的词条；如果在语料库中 次哭 词频高，那在码表/词库里是不是也要高？语料库中的词频，是不是可以直接拿来用在码表/词库中？
1 Like
新语料库大概要1.5天统计完成，看看能不能从统计学的角度解决这个问题
和其他词库合并会带来其他的词语。
实在没办法只能人工校核。
我个人使用2471万词库，开启整句引擎。不开启用户词典。
虽然存在一些废词，但对我来说已经影响不大。
1 Like
非常感谢大神的辛苦付出！
我上面反映的问题，之所以发生，是因为取交集的时候，其他词汇表（腾讯+百度百科+汉语大词典等等）太小/不全面的原因造成的。究其原因，您是在制作输入法词库，而腾讯词库毕竟不是输入法词库，汉语大词典也基本不会抱括“实在是，不想去，想问的是”等这样的词条，因为它们的选词标准不一样。但这些词汇本来包含于鸿雁2471万码表里，只是取交集的时候删除掉了。取交集的时候，参考一些其他输入法词库就能解决这个问题，窃以为。
“鸿雁拼音 腾讯词库测试版·全拼v0.2 输入方案”十分可爱，还请楼主继续优化。
这样的衍生词语其实很多的
依赖人工审核效率并不高
如果有切实可行的算法，一下子找出几万个这样的词语，那才是最好的。
这样既稳定又可靠而且省力
另外在结巴分词的数据库里，没有 “实在是” 只有 “实在是高”
在试用结巴分词之后，发现这种分词方法不准确，速度慢，严重影响词频统计准确度
所以我另辟蹊径，开发了机械分词套件，使用go语言实现。
遇到性能瓶颈，使用多线程策略。
go语言搞不定的千万级别 数亿级别的数据汇总统计，改用c语言。
目前 结巴分词 百度飞桨分词 我看了一下，并不满意。
算法不太感兴趣，感兴趣的是相关的数据集。
| 一个狠心的 | yi ge hen xin de | 144 |
|---|---|---|
| 个狠心的 | ge hen xin de | 1154 |
| 么狠心的 | me hen xin de | 714 |
| 便是再狠心的 | bian shi zai hen xin de | 169 |
| 便是再狠心的人 | bian shi zai hen xin de ren | 168 |
| 便是再狠心的人也 | bian shi zai hen xin de ren ye | 168 |
| 便是再狠心的人也舍 | bian shi zai hen xin de ren ye she | 167 |
| 便是再狠心的人也舍不 | bian shi zai hen xin de ren ye she bu | 167 |
| 便是再狠心的人也舍不得 | bian shi zai hen xin de ren ye she bu de | 167 |
| 便是再狠心的人也舍不得去 | bian shi zai hen xin de ren ye she bu de qu | 167 |
| 便是再狠心的人也舍不得去忘 | bian shi zai hen xin de ren ye she bu de qu wang | 167 |
| 便是再狠心的人也舍不得去忘记 | bian shi zai hen xin de ren ye she bu de qu wang ji | 167 |
| 再狠心的人 | zai hen xin de ren | 171 |
| 再狠心的人也 | zai hen xin de ren ye | 171 |
| 再狠心的人也舍 | zai hen xin de ren ye she | 168 |
| 再狠心的人也舍不 | zai hen xin de ren ye she bu | 168 |
| 再狠心的人也舍不得 | zai hen xin de ren ye she bu de | 168 |
| 再狠心的人也舍不得去 | zai hen xin de ren ye she bu de qu | 168 |
| 再狠心的人也舍不得去忘 | zai hen xin de ren ye she bu de qu wang | 168 |
| 再狠心的人也舍不得去忘记 | zai hen xin de ren ye she bu de qu wang ji | 168 |
| 到即便是再狠心的 | dao ji bian shi zai hen xin de | 168 |
| 到即便是再狠心的人 | dao ji bian shi zai hen xin de ren | 167 |
| 到即便是再狠心的人也 | dao ji bian shi zai hen xin de ren ye | 167 |
| 到即便是再狠心的人也舍 | dao ji bian shi zai hen xin de ren ye she | 166 |
| 到即便是再狠心的人也舍不 | dao ji bian shi zai hen xin de ren ye she bu | 166 |
| 到即便是再狠心的人也舍不得 | dao ji bian shi zai hen xin de ren ye she bu de | 166 |
| 到即便是再狠心的人也舍不得去 | dao ji bian shi zai hen xin de ren ye she bu de qu | 166 |
| 到即便是再狠心的人也舍不得去忘 | dao ji bian shi zai hen xin de ren ye she bu de qu wang | 166 |
| 到即便是再狠心的人也舍不得去忘记 | dao ji bian shi zai hen xin de ren ye she bu de qu wang ji | 166 |
| 即便是再狠心的 | ji bian shi zai hen xin de | 169 |
| 即便是再狠心的人 | ji bian shi zai hen xin de ren | 168 |
| 即便是再狠心的人也 | ji bian shi zai hen xin de ren ye | 168 |
| 即便是再狠心的人也舍 | ji bian shi zai hen xin de ren ye she | 167 |
| 即便是再狠心的人也舍不 | ji bian shi zai hen xin de ren ye she bu | 167 |
| 即便是再狠心的人也舍不得 | ji bian shi zai hen xin de ren ye she bu de | 167 |
| 即便是再狠心的人也舍不得去 | ji bian shi zai hen xin de ren ye she bu de qu | 167 |
| 即便是再狠心的人也舍不得去忘 | ji bian shi zai hen xin de ren ye she bu de qu wang | 167 |
| 即便是再狠心的人也舍不得去忘记 | ji bian shi zai hen xin de ren ye she bu de qu wang ji | 167 |
| 好到即便是再狠心的 | hao dao ji bian shi zai hen xin de | 167 |
| 好到即便是再狠心的人 | hao dao ji bian shi zai hen xin de ren | 166 |
| 好到即便是再狠心的人也 | hao dao ji bian shi zai hen xin de ren ye | 166 |
| 好到即便是再狠心的人也舍 | hao dao ji bian shi zai hen xin de ren ye she | 165 |
| 好到即便是再狠心的人也舍不 | hao dao ji bian shi zai hen xin de ren ye she bu | 165 |
| 好到即便是再狠心的人也舍不得 | hao dao ji bian shi zai hen xin de ren ye she bu de | 165 |
| 好到即便是再狠心的人也舍不得去 | hao dao ji bian shi zai hen xin de ren ye she bu de qu | 165 |
| 好到即便是再狠心的人也舍不得去忘 | hao dao ji bian shi zai hen xin de ren ye she bu de qu wang | 165 |
| 好狠心的 | hao hen xin de | 273 |
| 昌芳说起狠心的丈夫赵 | chang fang shuo qi hen xin de zhang fu zhao | 125 |
| 昌芳说起狠心的丈夫赵珍 | chang fang shuo qi hen xin de zhang fu zhao zhen | 125 |
| 昌芳说起狠心的丈夫赵珍华 | chang fang shuo qi hen xin de zhang fu zhao zhen hua | 125 |
| 昌芳说起狠心的丈夫赵珍华时 | chang fang shuo qi hen xin de zhang fu zhao zhen hua shi | 122 |
| 昌芳说起狠心的丈夫赵珍华时语 | chang fang shuo qi hen xin de zhang fu zhao zhen hua shi yu | 121 |
| 昌芳说起狠心的丈夫赵珍华时语气 | chang fang shuo qi hen xin de zhang fu zhao zhen hua shi yu qi | 121 |
| 是再狠心的 | shi zai hen xin de | 170 |
| 是再狠心的人 | shi zai hen xin de ren | 169 |
| 是再狠心的人也 | shi zai hen xin de ren ye | 169 |
| 是再狠心的人也舍 | shi zai hen xin de ren ye she | 168 |
| 是再狠心的人也舍不 | shi zai hen xin de ren ye she bu | 168 |
| 是再狠心的人也舍不得 | shi zai hen xin de ren ye she bu de | 168 |
| 是再狠心的人也舍不得去 | shi zai hen xin de ren ye she bu de qu | 168 |
| 是再狠心的人也舍不得去忘 | shi zai hen xin de ren ye she bu de qu wang | 168 |
| 是再狠心的人也舍不得去忘记 | shi zai hen xin de ren ye she bu de qu wang ji | 168 |
| 有狠心的 | you hen xin de | 157 |
| 狠心的 | hen xin de | 13851 |
| 狠心的丈夫赵珍华时语气 | hen xin de zhang fu zhao zhen hua shi yu qi | 121 |
| 狠心的丈夫赵珍华时语气中 | hen xin de zhang fu zhao zhen hua shi yu qi zhong | 121 |
| 狠心的丈夫赵珍华时语气中充 | hen xin de zhang fu zhao zhen hua shi yu qi zhong chong | 121 |
| 狠心的丈夫赵珍华时语气中充满 | hen xin de zhang fu zhao zhen hua shi yu qi zhong chong man | 121 |
| 狠心的丈夫赵珍华时语气中充满了 | hen xin de zhang fu zhao zhen hua shi yu qi zhong chong man le | 121 |
| 狠心的人 | hen xin de ren | 1507 |
| 狠心的人也 | hen xin de ren ye | 182 |
| 狠心的人也舍 | hen xin de ren ye she | 168 |
| 狠心的人也舍不 | hen xin de ren ye she bu | 168 |
| 狠心的人也舍不得 | hen xin de ren ye she bu de | 168 |
| 狠心的人也舍不得去 | hen xin de ren ye she bu de qu | 168 |
| 狠心的人也舍不得去忘 | hen xin de ren ye she bu de qu wang | 168 |
| 狠心的人也舍不得去忘记 | hen xin de ren ye she bu de qu wang ji | 168 |
| 狠心的女 | hen xin de nv | 265 |
| 狠心的女 | hen xin de nu | 265 |
| 狠心的女人 | hen xin de nv ren | 189 |
| 狠心的女人 | hen xin de nu ren | 189 |
| 狠心的妈妈 | hen xin de ma ma | 237 |
| 狠心的父 | hen xin de fu | 1220 |
| 狠心的父亲 | hen xin de fu qin | 174 |
| 狠心的父母 | hen xin de fu mu | 930 |
| 美好到即便是再狠心的 | mei hao dao ji bian shi zai hen xin de | 167 |
| 美好到即便是再狠心的人 | mei hao dao ji bian shi zai hen xin de ren | 166 |
| 美好到即便是再狠心的人也 | mei hao dao ji bian shi zai hen xin de ren ye | 166 |
| 美好到即便是再狠心的人也舍 | mei hao dao ji bian shi zai hen xin de ren ye she | 165 |
| 美好到即便是再狠心的人也舍不 | mei hao dao ji bian shi zai hen xin de ren ye she bu | 165 |
| 美好到即便是再狠心的人也舍不得 | mei hao dao ji bian shi zai hen xin de ren ye she bu de | 165 |
| 美好到即便是再狠心的人也舍不得去 | mei hao dao ji bian shi zai hen xin de ren ye she bu de qu | 165 |
| 芳说起狠心的丈夫赵珍 | fang shuo qi hen xin de zhang fu zhao zhen | 125 |
| 芳说起狠心的丈夫赵珍华 | fang shuo qi hen xin de zhang fu zhao zhen hua | 125 |
| 芳说起狠心的丈夫赵珍华时 | fang shuo qi hen xin de zhang fu zhao zhen hua shi | 122 |
| 芳说起狠心的丈夫赵珍华时语 | fang shuo qi hen xin de zhang fu zhao zhen hua shi yu | 121 |
| 芳说起狠心的丈夫赵珍华时语气 | fang shuo qi hen xin de zhang fu zhao zhen hua shi yu qi | 121 |
| 芳说起狠心的丈夫赵珍华时语气中 | fang shuo qi hen xin de zhang fu zhao zhen hua shi yu qi zhong | 121 |
| 说起狠心的丈夫赵珍华 | shuo qi hen xin de zhang fu zhao zhen hua | 126 |
| 说起狠心的丈夫赵珍华时 | shuo qi hen xin de zhang fu zhao zhen hua shi | 122 |
| 说起狠心的丈夫赵珍华时语 | shuo qi hen xin de zhang fu zhao zhen hua shi yu | 121 |
| 说起狠心的丈夫赵珍华时语气 | shuo qi hen xin de zhang fu zhao zhen hua shi yu qi | 121 |
| 说起狠心的丈夫赵珍华时语气中 | shuo qi hen xin de zhang fu zhao zhen hua shi yu qi zhong | 121 |
| 说起狠心的丈夫赵珍华时语气中充 | shuo qi hen xin de zhang fu zhao zhen hua shi yu qi zhong chong | 121 |
| 起狠心的丈夫赵珍华时语 | qi hen xin de zhang fu zhao zhen hua shi yu | 121 |
| 起狠心的丈夫赵珍华时语气 | qi hen xin de zhang fu zhao zhen hua shi yu qi | 121 |
| 起狠心的丈夫赵珍华时语气中 | qi hen xin de zhang fu zhao zhen hua shi yu qi zhong | 121 |
| 起狠心的丈夫赵珍华时语气中充 | qi hen xin de zhang fu zhao zhen hua shi yu qi zhong chong | 121 |
| 起狠心的丈夫赵珍华时语气中充满 | qi hen xin de zhang fu zhao zhen hua shi yu qi zhong chong man | 121 |
| 这个狠心的 | zhe ge hen xin de | 207 |
| 这么狠心的 | zhe me hen xin de | 470 |
| 陈昌芳说起狠心的丈夫 | chen chang fang shuo qi hen xin de zhang fu | 125 |
| 陈昌芳说起狠心的丈夫赵 | chen chang fang shuo qi hen xin de zhang fu zhao | 125 |
| 陈昌芳说起狠心的丈夫赵珍 | chen chang fang shuo qi hen xin de zhang fu zhao zhen | 125 |
| 陈昌芳说起狠心的丈夫赵珍华 | chen chang fang shuo qi hen xin de zhang fu zhao zhen hua | 125 |
| 陈昌芳说起狠心的丈夫赵珍华时 | chen chang fang shuo qi hen xin de zhang fu zhao zhen hua shi | 122 |
| 陈昌芳说起狠心的丈夫赵珍华时语 | chen chang fang shuo qi hen xin de zhang fu zhao zhen hua shi yu | 121 |
1 Like
我有一些办法，不需要人工审核。切实可行的算法，基本是存在的，而且简单。不需要花钱。
- 批量寻找这样词的的具体方法：
您制作“ 鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案”时，应该是是在“鸿雁2700万词库” 和 （腾讯1前多万词库+百度百科+汉语大词典等）之间取得交集的。那能不能更新下？能不能在后者（腾讯1前多万词库+百度百科+汉语大词典等）中增添一些输入法类词库，比如 RIME官方词库，四叶草词库，搜狗词库等等，可以多添加一些这样的词库。这样取的的交集更可能包括“实在是，不想去，想问的是”这样的词条了。
- 另外，一个关于词频优化的方法，不需要人工审核，不花钱：就是，拿既有的一个别的词库的词频，来调整“鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案”词频。
目前“鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案”的一个问题是，比如 次哭 一词的词频高于 词库 一词，（次哭 一词在新版中已经删除掉了，我只是拿它举个例子），那可以拿一个小词库批量微调词频。比如 GitHub - rime/rime-pinyin-simp: 【袖珍簡化字拼音】輸入方案 是一个官方袖珍简化字拼音小词库。如果一个词出现在这个 袖珍简化字拼音 中，那可以认为这个词是真正的高频词，那在 鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案 中，人为地把该词词频提高；这样 词库 的词频 就会 高于 次哭；再举一个例子，想输入 每页 一词，它排在很后面。通过上述方法，可以将批量调整词频。这样，每页 这个常用词，在候选项中，更靠前。另外，袖珍简化字拼音 词库 也可以给 交集词库提供 词频，比如袖珍简化字拼音词库中 每页 的词频 高也 美也（美或者美也都不存在于 袖珍简化字拼音 中），那如是参考，对于“鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案”的词频做出相应地调整。
截图：想输入 每页 一词，候选项第一屏和第二屏
- 利用同样的原理，参考一些权威拼音词库，也可以对“鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案”拼音进行校准。
以上是在下的业余想法，请楼主鉴别。
3 Likes
万分期待中
支持大神
采用其他词库，我以前有这样的想法，因为词频数据不准确 错误的分词也不少而放弃了
而且有的数据库明令禁止商用，或者授权协议比较苛刻。
现在想想，别人花费大量 人工的分词数据也不是一定没有价值。
我不直接引用这些数据，用他们来投票。
天下文章一大抄，抄抄改改，是可以的。
如果引用一本著作几句话，不构成侵权。
成段成段地引用，而且没有授权协议，构成侵权。
大神
原创的价值
毋庸置疑
相信自己
坚持自己的道路