日本語文型辞典 改訂版 mdx

这个辞典页数不多,主要麻烦在ruby,直接加ruby容易出现多音字问题,这次我让ai用局部ocr方式加ruby,然后对照词典验证读音,然后我手动校对了1500处多音的ruby,以及粗略校对了文本,原书三种索引也完全还原了。
其实一开始是想测试qwen35-ocr-jp-2b-gguf这个模型来ocr的,结果发现这个模型虽然能直接输出带ruby的html,但输出的不是原书内容,有大量幻觉,最后只能改用找文本位置然后上移局部ocr的方案。

下载:
通过网盘分享的文件:日本語文型辞典 改訂版
链接: 百度网盘 请输入提取码 提取码: 1234
或
日本語文型辞典 改訂版 - FreeMdict Cloud

AI图标:

原来图片版的索引有六千多条,可以照着增补下https://pan.baidu.com/s/1b5Apeq7Q0nw0UrNUwpnkKw?pwd=3740

高产大佬!!!

qwen的模型做OCR是容易有幻觉,包括阿里自己训练的ovisocr2,我实测8bit精度下特定情况会触发循环输出,优点是有些内容比paddle更容易识别准。

我其实是用mineru做主文本的,对比paddleocr以及chromelens定位还不错,mineru特别是层级结构保持很好,但缺点是有时会丢假名。

qwen我之前用的是一个特化模型测试,这个模型是特别针对日语微调的,可以直接输出html的ruby格式,漢字かんじ

你的mineru是用的本地版吗,我之前下了个mineru2.5-pro-2605-1.2b_Q8_0感觉效果不是太令我满意

我是用在线版,一天可以识别5000页够用了

我用在线版按每两百页一次识别,有时候会有识别失败的情况,不知道是不是触发违禁词或者什么了

我是一次识别一页的,一次200页感觉太多了