# 已解决，打算重新收集500本辞书合集 **URL:** \ **Category:** 技术交流与词典编修\ **Tags:** python, 爬取, 求助\ **Created:** [2025 年7 月 11 日 12:12 UTC](https://forum.freemdict.com/t/topic/40309 "2025-07-11T12:12:08Z")\ **Posts on this page:** 6\ **Page:** 1
**Author:** ![kking](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/k/5daacb/32.png) [@kking](https://forum.freemdict.com/u/kking)\ **Post date:** [2025 年7 月 11 日 12:12 UTC](https://forum.freemdict.com/t/topic/40309/1 "2025-07-11T12:12:08Z")
> [@【阿彌陀佛】500部辞书合集2022.5.15改版](https://forum.freemdict.com/t/topic/2942/): > > 2022.5.15改版： 2021.10.7更新图片离线版 2020.8.9更新：已经解决了圖片顯示問題。請重新下載。可以顯示圖片了（在線加載）。 製作說明【阿彌陀佛】《辞书大全集》(岁年网)【阿彌陀佛】2020.8.8我也不知有多少部，說500只是個概數。整个网站抓取。网站目录有900部辞典。 原始文本约13G，清洗数据花费大量时间。成品450M，词条80多万。已经… 打算重新收集一次，从877一直到2570， 实际获得词典目录1525本，目录中的词条链接部分有纰漏，需要转换，实际获得词条122w条 ![image](https://forumcdn.freemdict.com/uploads/default/original/3X/6/a/6a2d4dcf7d84cb00c539eff57c61dca8e99387da.png) ![image](https://forumcdn.freemdict.com/uploads/default/original/3X/6/f/6fce19e1f398d5233275c2ed10fb7d0cc524b6bb.png) 下载前10000条实际得到9979条， ![image](https://forumcdn.freemdict.com/uploads/default/original/3X/b/5/b574d2215967800a6818ada70517522818c54ffc.png) ![image](https://forumcdn.freemdict.com/uploads/default/original/3X/2/4/2411852be5ff9693df05f6750b5b8dfc8404620f.png) 1w条大概需要1.3小时， 有没有大佬帮忙爬或者指点一下能加快进度的方法 排查了一下，佛爷的版本只是缺877到1178，满打满算也就缺92943条，之后的词典和词条我现在爬取只会比佛爷的更少， 保存路径直接照抄，应该不成问题了 ---
**Author:** ![tianyazhilin](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/t/f475e1/32.png) [@tianyazhilin](https://forum.freemdict.com/u/tianyazhilin)\ **Post date:** [2025 年7 月 11 日 12:34 UTC](https://forum.freemdict.com/t/topic/40309/2 "2025-07-11T12:34:26Z")
pyhton的多线程 或多进程 或异步能提高爬取速度，供参考。我刚接触python，还不会用。 ---
**Author:** ![xianjue114](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/x/a587f6/32.png) [@xianjue114](https://forum.freemdict.com/u/xianjue114)\ **Post date:** [2025 年7 月 11 日 12:41 UTC](https://forum.freemdict.com/t/topic/40309/3 "2025-07-11T12:41:32Z")
鸿篇巨制！老师辛苦了！ ---
**Author:** ![kking](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/k/5daacb/32.png) [@kking](https://forum.freemdict.com/u/kking)\ **Post date:** [2025 年7 月 11 日 13:45 UTC](https://forum.freemdict.com/t/topic/40309/4 "2025-07-11T13:45:39Z")
保存的目录也是个问题，我自定义了1w个页面一个目录，html目录和jpg目录 之前爬国学大师，9.8w个html放一个文件夹，jpg放jpg/zi或者jpg/ytzi 这122w个html放一个文件夹那不得炸膛了，或者1w个html洗版为一个txt，然后122个txt洗版成一个txt，jpg打包成mdd，因为保存html时jpg的地址做了修改，那不得打包成122个mdd 不好搞，没经验，没思路 ··············· 看了一下之前的版本， 网络图片地址ttp://202.106.125.14:8000/ApaDownLoadRef/m.20081027-m300-w001-258/images/Image5/m.20081027-m300-w001-258002206.jpg 本地图片地址img src=“/202.106.125.14\_3A8000/ApaDownLoadRef/m.20081027-m300-w001-258/images/Image5/m.20081027-m300-w001-258002206.jpg”\> html保存本地文件夹地址估计也是类似，图片本地保存文件夹结构基本不变，利于洗版，到时候跨文件夹遍历html写成txt就行了 ps网页目录词条删除了好多，到时候还得交叉对比一下阿弥陀佛的版本 ---
**Author:** ![汉语百科](https://forumcdn.freemdict.com/user_avatar/forum.freemdict.com/%E6%B1%89%E8%AF%AD%E7%99%BE%E7%A7%91/32/75569_2.png) [@汉语百科](https://forum.freemdict.com/u/%E6%B1%89%E8%AF%AD%E7%99%BE%E7%A7%91)\ **Post date:** [2025 年9 月 22 日 02:23 UTC](https://forum.freemdict.com/t/topic/40309/5 "2025-09-22T02:23:26Z")
我会一些基本的数据处理，有什么能帮忙的吗？ ---
**Author:** ![kking](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/k/5daacb/32.png) [@kking](https://forum.freemdict.com/u/kking)\ **Post date:** [2025 年9 月 22 日 02:31 UTC](https://forum.freemdict.com/t/topic/40309/6 "2025-09-22T02:31:52Z")
> [@更新：10.3w词条【500本辞书合集】之补集，图片已离线含词典总目录](https://forum.freemdict.com/t/topic/40342): > > 强烈推荐更新2025.7.14 发现更多原网站词条跳转错误，直接从总目录中核查词条，新增补齐3686条 发现词条解释为空的词条，新增补齐2584条 （需更新500部辞书补集2025mdx和mdd，总目录mdx，mdd不变） 这个网站有点奇葩，没有搜索功能，书籍地址也没有规律，只把部分书籍放在了/book/页面，害佛爷当初全站抓取不完整（相当于饭店的菜单上只有套… 感谢留意，这个辞典已出货 😀