您的意思是默认开启用户词典对用户是有好处的。至于打乱 原有词序,干扰盲打的担忧 是无稽之谈。
英文词语联想,词库有,码表策略是有,现在就是缺少施工。
目前在搞法律和医学语料,耐心等待。
您的意思是默认开启用户词典对用户是有好处的。至于打乱 原有词序,干扰盲打的担忧 是无稽之谈。
英文词语联想,词库有,码表策略是有,现在就是缺少施工。
目前在搞法律和医学语料,耐心等待。
期待,耐心侯着
等待和期望
这就是生活的真谛
本论坛是个语言学习论坛,尤其是英文处于主导地位。所以英文联想输入应该是最热门的。个人建议在本论坛大神能多关注英文联想输入。
谢谢!
(@Vim 不小心把这个帖子设置成回复给您之前的一个帖子了。想修改,但是一时找不到门道。打扰了!)
@hongyan30 反映问题:发现“鸿雁拼音 腾讯词库测试版·全拼v0.2 输入方案”更多缺失的词汇。
缺失词汇举例:
更适用
狠心的
以及以前汇报过的缺失词汇:
实在是
不想去
想问的是
鸿雁2471万码表的词汇很全面, 鸿雁2471万码表本来是含有这些词汇的,但这些词汇是词汇组合,像腾讯+百度百科+汉语大词典等等一般不包含的,所以2471万码表和别的词汇表(腾讯+百度百科+汉语大词典等等)取交集的时候,这些词汇组合被筛除掉了。也就是由于的别的词汇表不全面,造成交集后缺失一些词汇。但是一般的输入法码表(RIME官方、四叶草、8万精准小词库等)更可能包含这些词汇组合。
建议:楼主在取交集的时候,是不是也考虑参考一些其他输入法词库(RIME官方、四叶草、8万精准小词库等)?同时,常规词汇(比如各大汉语词典一般包含的词汇)应该早已足够了,楼主也许不必再过多的在百度语料等资料上求索了。窃以为,如果楼主有时间精力,目前几个值得改善的地方有:
新语料库大概要1.5天统计完成,看看能不能从统计学的角度解决这个问题
和其他词库合并会带来其他的词语。
实在没办法只能人工校核。
我个人使用2471万词库,开启整句引擎。不开启用户词典。
虽然存在一些废词,但对我来说已经影响不大。
非常感谢大神的辛苦付出!
我上面反映的问题,之所以发生,是因为取交集的时候,其他词汇表(腾讯+百度百科+汉语大词典等等)太小/不全面的原因造成的。究其原因,您是在制作输入法词库,而腾讯词库毕竟不是输入法词库,汉语大词典也基本不会抱括“实在是,不想去,想问的是”等这样的词条,因为它们的选词标准不一样。但这些词汇本来包含于鸿雁2471万码表里,只是取交集的时候删除掉了。取交集的时候,参考一些其他输入法词库就能解决这个问题,窃以为。
“鸿雁拼音 腾讯词库测试版·全拼v0.2 输入方案”十分可爱,还请楼主继续优化。
这样的衍生词语其实很多的
依赖人工审核效率并不高
如果有切实可行的算法,一下子找出几万个这样的词语,那才是最好的。
这样既稳定又可靠而且省力
另外在结巴分词的数据库里,没有 “实在是” 只有 “实在是高”
在试用结巴分词之后,发现这种分词方法不准确,速度慢,严重影响词频统计准确度
所以我另辟蹊径,开发了机械分词套件,使用go语言实现。
遇到性能瓶颈,使用多线程策略。
go语言搞不定的千万级别 数亿级别的数据汇总统计,改用c语言。
目前 结巴分词 百度飞桨分词 我看了一下,并不满意。
算法不太感兴趣,感兴趣的是相关的数据集。
一个狠心的 | yi ge hen xin de | 144 |
---|---|---|
个狠心的 | ge hen xin de | 1154 |
么狠心的 | me hen xin de | 714 |
便是再狠心的 | bian shi zai hen xin de | 169 |
便是再狠心的人 | bian shi zai hen xin de ren | 168 |
便是再狠心的人也 | bian shi zai hen xin de ren ye | 168 |
便是再狠心的人也舍 | bian shi zai hen xin de ren ye she | 167 |
便是再狠心的人也舍不 | bian shi zai hen xin de ren ye she bu | 167 |
便是再狠心的人也舍不得 | bian shi zai hen xin de ren ye she bu de | 167 |
便是再狠心的人也舍不得去 | bian shi zai hen xin de ren ye she bu de qu | 167 |
便是再狠心的人也舍不得去忘 | bian shi zai hen xin de ren ye she bu de qu wang | 167 |
便是再狠心的人也舍不得去忘记 | bian shi zai hen xin de ren ye she bu de qu wang ji | 167 |
再狠心的人 | zai hen xin de ren | 171 |
再狠心的人也 | zai hen xin de ren ye | 171 |
再狠心的人也舍 | zai hen xin de ren ye she | 168 |
再狠心的人也舍不 | zai hen xin de ren ye she bu | 168 |
再狠心的人也舍不得 | zai hen xin de ren ye she bu de | 168 |
再狠心的人也舍不得去 | zai hen xin de ren ye she bu de qu | 168 |
再狠心的人也舍不得去忘 | zai hen xin de ren ye she bu de qu wang | 168 |
再狠心的人也舍不得去忘记 | zai hen xin de ren ye she bu de qu wang ji | 168 |
到即便是再狠心的 | dao ji bian shi zai hen xin de | 168 |
到即便是再狠心的人 | dao ji bian shi zai hen xin de ren | 167 |
到即便是再狠心的人也 | dao ji bian shi zai hen xin de ren ye | 167 |
到即便是再狠心的人也舍 | dao ji bian shi zai hen xin de ren ye she | 166 |
到即便是再狠心的人也舍不 | dao ji bian shi zai hen xin de ren ye she bu | 166 |
到即便是再狠心的人也舍不得 | dao ji bian shi zai hen xin de ren ye she bu de | 166 |
到即便是再狠心的人也舍不得去 | dao ji bian shi zai hen xin de ren ye she bu de qu | 166 |
到即便是再狠心的人也舍不得去忘 | dao ji bian shi zai hen xin de ren ye she bu de qu wang | 166 |
到即便是再狠心的人也舍不得去忘记 | dao ji bian shi zai hen xin de ren ye she bu de qu wang ji | 166 |
即便是再狠心的 | ji bian shi zai hen xin de | 169 |
即便是再狠心的人 | ji bian shi zai hen xin de ren | 168 |
即便是再狠心的人也 | ji bian shi zai hen xin de ren ye | 168 |
即便是再狠心的人也舍 | ji bian shi zai hen xin de ren ye she | 167 |
即便是再狠心的人也舍不 | ji bian shi zai hen xin de ren ye she bu | 167 |
即便是再狠心的人也舍不得 | ji bian shi zai hen xin de ren ye she bu de | 167 |
即便是再狠心的人也舍不得去 | ji bian shi zai hen xin de ren ye she bu de qu | 167 |
即便是再狠心的人也舍不得去忘 | ji bian shi zai hen xin de ren ye she bu de qu wang | 167 |
即便是再狠心的人也舍不得去忘记 | ji bian shi zai hen xin de ren ye she bu de qu wang ji | 167 |
好到即便是再狠心的 | hao dao ji bian shi zai hen xin de | 167 |
好到即便是再狠心的人 | hao dao ji bian shi zai hen xin de ren | 166 |
好到即便是再狠心的人也 | hao dao ji bian shi zai hen xin de ren ye | 166 |
好到即便是再狠心的人也舍 | hao dao ji bian shi zai hen xin de ren ye she | 165 |
好到即便是再狠心的人也舍不 | hao dao ji bian shi zai hen xin de ren ye she bu | 165 |
好到即便是再狠心的人也舍不得 | hao dao ji bian shi zai hen xin de ren ye she bu de | 165 |
好到即便是再狠心的人也舍不得去 | hao dao ji bian shi zai hen xin de ren ye she bu de qu | 165 |
好到即便是再狠心的人也舍不得去忘 | hao dao ji bian shi zai hen xin de ren ye she bu de qu wang | 165 |
好狠心的 | hao hen xin de | 273 |
昌芳说起狠心的丈夫赵 | chang fang shuo qi hen xin de zhang fu zhao | 125 |
昌芳说起狠心的丈夫赵珍 | chang fang shuo qi hen xin de zhang fu zhao zhen | 125 |
昌芳说起狠心的丈夫赵珍华 | chang fang shuo qi hen xin de zhang fu zhao zhen hua | 125 |
昌芳说起狠心的丈夫赵珍华时 | chang fang shuo qi hen xin de zhang fu zhao zhen hua shi | 122 |
昌芳说起狠心的丈夫赵珍华时语 | chang fang shuo qi hen xin de zhang fu zhao zhen hua shi yu | 121 |
昌芳说起狠心的丈夫赵珍华时语气 | chang fang shuo qi hen xin de zhang fu zhao zhen hua shi yu qi | 121 |
是再狠心的 | shi zai hen xin de | 170 |
是再狠心的人 | shi zai hen xin de ren | 169 |
是再狠心的人也 | shi zai hen xin de ren ye | 169 |
是再狠心的人也舍 | shi zai hen xin de ren ye she | 168 |
是再狠心的人也舍不 | shi zai hen xin de ren ye she bu | 168 |
是再狠心的人也舍不得 | shi zai hen xin de ren ye she bu de | 168 |
是再狠心的人也舍不得去 | shi zai hen xin de ren ye she bu de qu | 168 |
是再狠心的人也舍不得去忘 | shi zai hen xin de ren ye she bu de qu wang | 168 |
是再狠心的人也舍不得去忘记 | shi zai hen xin de ren ye she bu de qu wang ji | 168 |
有狠心的 | you hen xin de | 157 |
狠心的 | hen xin de | 13851 |
狠心的丈夫赵珍华时语气 | hen xin de zhang fu zhao zhen hua shi yu qi | 121 |
狠心的丈夫赵珍华时语气中 | hen xin de zhang fu zhao zhen hua shi yu qi zhong | 121 |
狠心的丈夫赵珍华时语气中充 | hen xin de zhang fu zhao zhen hua shi yu qi zhong chong | 121 |
狠心的丈夫赵珍华时语气中充满 | hen xin de zhang fu zhao zhen hua shi yu qi zhong chong man | 121 |
狠心的丈夫赵珍华时语气中充满了 | hen xin de zhang fu zhao zhen hua shi yu qi zhong chong man le | 121 |
狠心的人 | hen xin de ren | 1507 |
狠心的人也 | hen xin de ren ye | 182 |
狠心的人也舍 | hen xin de ren ye she | 168 |
狠心的人也舍不 | hen xin de ren ye she bu | 168 |
狠心的人也舍不得 | hen xin de ren ye she bu de | 168 |
狠心的人也舍不得去 | hen xin de ren ye she bu de qu | 168 |
狠心的人也舍不得去忘 | hen xin de ren ye she bu de qu wang | 168 |
狠心的人也舍不得去忘记 | hen xin de ren ye she bu de qu wang ji | 168 |
狠心的女 | hen xin de nv | 265 |
狠心的女 | hen xin de nu | 265 |
狠心的女人 | hen xin de nv ren | 189 |
狠心的女人 | hen xin de nu ren | 189 |
狠心的妈妈 | hen xin de ma ma | 237 |
狠心的父 | hen xin de fu | 1220 |
狠心的父亲 | hen xin de fu qin | 174 |
狠心的父母 | hen xin de fu mu | 930 |
美好到即便是再狠心的 | mei hao dao ji bian shi zai hen xin de | 167 |
美好到即便是再狠心的人 | mei hao dao ji bian shi zai hen xin de ren | 166 |
美好到即便是再狠心的人也 | mei hao dao ji bian shi zai hen xin de ren ye | 166 |
美好到即便是再狠心的人也舍 | mei hao dao ji bian shi zai hen xin de ren ye she | 165 |
美好到即便是再狠心的人也舍不 | mei hao dao ji bian shi zai hen xin de ren ye she bu | 165 |
美好到即便是再狠心的人也舍不得 | mei hao dao ji bian shi zai hen xin de ren ye she bu de | 165 |
美好到即便是再狠心的人也舍不得去 | mei hao dao ji bian shi zai hen xin de ren ye she bu de qu | 165 |
芳说起狠心的丈夫赵珍 | fang shuo qi hen xin de zhang fu zhao zhen | 125 |
芳说起狠心的丈夫赵珍华 | fang shuo qi hen xin de zhang fu zhao zhen hua | 125 |
芳说起狠心的丈夫赵珍华时 | fang shuo qi hen xin de zhang fu zhao zhen hua shi | 122 |
芳说起狠心的丈夫赵珍华时语 | fang shuo qi hen xin de zhang fu zhao zhen hua shi yu | 121 |
芳说起狠心的丈夫赵珍华时语气 | fang shuo qi hen xin de zhang fu zhao zhen hua shi yu qi | 121 |
芳说起狠心的丈夫赵珍华时语气中 | fang shuo qi hen xin de zhang fu zhao zhen hua shi yu qi zhong | 121 |
说起狠心的丈夫赵珍华 | shuo qi hen xin de zhang fu zhao zhen hua | 126 |
说起狠心的丈夫赵珍华时 | shuo qi hen xin de zhang fu zhao zhen hua shi | 122 |
说起狠心的丈夫赵珍华时语 | shuo qi hen xin de zhang fu zhao zhen hua shi yu | 121 |
说起狠心的丈夫赵珍华时语气 | shuo qi hen xin de zhang fu zhao zhen hua shi yu qi | 121 |
说起狠心的丈夫赵珍华时语气中 | shuo qi hen xin de zhang fu zhao zhen hua shi yu qi zhong | 121 |
说起狠心的丈夫赵珍华时语气中充 | shuo qi hen xin de zhang fu zhao zhen hua shi yu qi zhong chong | 121 |
起狠心的丈夫赵珍华时语 | qi hen xin de zhang fu zhao zhen hua shi yu | 121 |
起狠心的丈夫赵珍华时语气 | qi hen xin de zhang fu zhao zhen hua shi yu qi | 121 |
起狠心的丈夫赵珍华时语气中 | qi hen xin de zhang fu zhao zhen hua shi yu qi zhong | 121 |
起狠心的丈夫赵珍华时语气中充 | qi hen xin de zhang fu zhao zhen hua shi yu qi zhong chong | 121 |
起狠心的丈夫赵珍华时语气中充满 | qi hen xin de zhang fu zhao zhen hua shi yu qi zhong chong man | 121 |
这个狠心的 | zhe ge hen xin de | 207 |
这么狠心的 | zhe me hen xin de | 470 |
陈昌芳说起狠心的丈夫 | chen chang fang shuo qi hen xin de zhang fu | 125 |
陈昌芳说起狠心的丈夫赵 | chen chang fang shuo qi hen xin de zhang fu zhao | 125 |
陈昌芳说起狠心的丈夫赵珍 | chen chang fang shuo qi hen xin de zhang fu zhao zhen | 125 |
陈昌芳说起狠心的丈夫赵珍华 | chen chang fang shuo qi hen xin de zhang fu zhao zhen hua | 125 |
陈昌芳说起狠心的丈夫赵珍华时 | chen chang fang shuo qi hen xin de zhang fu zhao zhen hua shi | 122 |
陈昌芳说起狠心的丈夫赵珍华时语 | chen chang fang shuo qi hen xin de zhang fu zhao zhen hua shi yu | 121 |
我有一些办法,不需要人工审核。切实可行的算法,基本是存在的,而且简单。不需要花钱。
您制作“ 鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案”时,应该是是在“鸿雁2700万词库” 和 (腾讯1前多万词库+百度百科+汉语大词典等)之间取得交集的。那能不能更新下?能不能在后者(腾讯1前多万词库+百度百科+汉语大词典等)中增添一些输入法类词库,比如 RIME官方词库,四叶草词库,搜狗词库等等,可以多添加一些这样的词库。这样取的的交集更可能包括“实在是,不想去,想问的是”这样的词条了。
目前“鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案”的一个问题是,比如 次哭 一词的词频高于 词库 一词,(次哭 一词在新版中已经删除掉了,我只是拿它举个例子),那可以拿一个小词库批量微调词频。比如 GitHub - rime/rime-pinyin-simp: 【袖珍簡化字拼音】輸入方案 是一个官方袖珍简化字拼音小词库。如果一个词出现在这个 袖珍简化字拼音 中,那可以认为这个词是真正的高频词,那在 鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案 中,人为地把该词词频提高;这样 词库 的词频 就会 高于 次哭;再举一个例子,想输入 每页 一词,它排在很后面。通过上述方法,可以将批量调整词频。这样,每页 这个常用词,在候选项中,更靠前。另外,袖珍简化字拼音 词库 也可以给 交集词库提供 词频,比如袖珍简化字拼音词库中 每页 的词频 高也 美也(美或者美也都不存在于 袖珍简化字拼音 中),那如是参考,对于“鸿雁拼音+腾讯词库测试版·全拼v0.2 输入方案”的词频做出相应地调整。
截图:想输入 每页 一词,候选项第一屏和第二屏
以上是在下的业余想法,请楼主鉴别。
万分期待中
支持大神
采用其他词库,我以前有这样的想法,因为词频数据不准确 错误的分词也不少而放弃了
而且有的数据库明令禁止商用,或者授权协议比较苛刻。
现在想想,别人花费大量 人工的分词数据也不是一定没有价值。
我不直接引用这些数据,用他们来投票。
天下文章一大抄,抄抄改改,是可以的。
如果引用一本著作几句话,不构成侵权。
成段成段地引用,而且没有授权协议,构成侵权。
大神
原创的价值
毋庸置疑
相信自己
坚持自己的道路
请问作者什么时候支持 mac 呢?有这个计划吗
好像使用ma c平台主要是
视频剪辑,设计等专业人员
部分的软件工程师,ios开发者
我都没用过这个操作系统,应该和linux差不多,据说mac系统最初是在bsd unix上开发的。
从市场份额上说,这个一个小众的操作系统
从用户群体角度来说,这个高端的用户群。
其实吧,鸿雁输入法主要是一个码表方案,rime源代码就改动了一个整句引擎下的空格键映射。
这些移植起来并不困难。
能用得起mac的用户自然也会接触windows平台
linux用户也有这样的需求,一个词库安装 脚本
目前在windows平台将就先用一下吧。
用户数量足够多了,加上是开源的,自然有喜欢折腾的爱好者做出移植打包方案来。
可以直接使用RIME的mac版 + 鸿雁的词库/方案。
怎么没动静了?
应该是楼主大神正在潜心伏案制作吧!
期待更新版 (最好有英文联想功能) 横空出世!