# 中文维基 zh.wikipedia.org 20231001 (9月离线123GB照片+10月mdx） **URL:** \ **Category:** 汉汉\ **Tags:** wikipedia, ⭐star\ **Created:** [2023 年10 月 18 日 10:03 UTC](https://forum.freemdict.com/t/topic/24143 "2023-10-18T10:03:58Z")\ **Posts on this page:** 20\ **Page:** 1
作者： ![meandmyhomies](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/958977/32.png) [@meandmyhomies](https://forum.freemdict.com/u/meandmyhomies)\ 发布日期： [2023 年10 月 18 日 10:03 UTC](https://forum.freemdict.com/t/topic/24143/1 "2023-10-18T10:03:59Z")
> **FreeMDict没法上传/太慢** > > [FreeMdict Cloud](https://cloud.freemdict.com/index.php/s/wW9WtNNfJCGXQSk) 百度: [百度网盘 请输入提取码](https://pan.baidu.com/s/1JZxaFQxe6bkvEdLrtNA0pw?pwd=mbgq) 大约来自10个2GB json文件。一共100个这样的文件，处理10个大概10小时。 数据有可能不完整，以后 [Index - Wikimedia Enterprise HTML Dumps](https://dumps.wikimedia.org/other/enterprise_html/)完善再跟进也不迟。 ![image](https://forumcdn.freemdict.com/uploads/default/original/3X/2/5/25d5de583552873a2e8826093ca5d8ce985e26e4.png) ![image](https://forumcdn.freemdict.com/uploads/default/original/3X/e/3/e35cbe3476a6bcffb39fa3de761fb7f37f8d82c4.png) 特点：保留了里面的languageVariant (联想相关内容）做了link,参见图二。 图像数据mdd 位于0901文件夹里面，就一个 _.1.mdd文件，还是可以通用于其他日期的版本的。其他日期的版本加一个小的补集_.2.mdd即可，绝大多数图像都重合。 ---
作者： ![brightd](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/b/90db22/32.png) [@brightd](https://forum.freemdict.com/u/brightd)\ 发布日期： [2023 年10 月 18 日 10:07 UTC](https://forum.freemdict.com/t/topic/24143/2 "2023-10-18T10:07:22Z")
厉害！ 非常感谢！ ---
作者： ![xingzhewujiang](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/x/839c29/32.png) [@xingzhewujiang](https://forum.freemdict.com/u/xingzhewujiang)\ 发布日期： [2023 年10 月 18 日 10:23 UTC](https://forum.freemdict.com/t/topic/24143/3 "2023-10-18T10:23:20Z")
感谢楼主无私奉献。很可惜文件链接打不开，恳请再次上传到百度云盘可好，非常感谢！！ ---
作者： ![hjtoh](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/h/e99b99/32.png) [@hjtoh](https://forum.freemdict.com/u/hjtoh)\ 发布日期： [2023 年10 月 18 日 10:26 UTC](https://forum.freemdict.com/t/topic/24143/4 "2023-10-18T10:26:43Z")
行动派真的可怕！ ---
作者： ![huamaofan](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/h/b9e5f3/32.png) [@huamaofan](https://forum.freemdict.com/u/huamaofan)\ 发布日期： [2023 年10 月 18 日 10:38 UTC](https://forum.freemdict.com/t/topic/24143/5 "2023-10-18T10:38:21Z")
太赞了！感谢楼主大神，这行动力无与伦比！ ---
作者： ![baihai57](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/b/7ab992/32.png) [@baihai57](https://forum.freemdict.com/u/baihai57)\ 发布日期： [2023 年10 月 18 日 10:42 UTC](https://forum.freemdict.com/t/topic/24143/6 "2023-10-18T10:42:38Z")
太厉害了。十分期待。也期待有人做出日语的。 ---
作者： ![meandmyhomies](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/958977/32.png) [@meandmyhomies](https://forum.freemdict.com/u/meandmyhomies)\ 发布日期： [2023 年10 月 18 日 11:46 UTC](https://forum.freemdict.com/t/topic/24143/7 "2023-10-18T11:46:01Z")
上传太慢，几个小时才1gb，等。。。 ---
作者： ![匿名1525](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/%E5%8C%BF/53a042/32.png) [@匿名1525](https://forum.freemdict.com/u/%E5%8C%BF%E5%90%8D1525)\ 发布日期： [2023 年10 月 18 日 13:21 UTC](https://forum.freemdict.com/t/topic/24143/8 "2023-10-18T13:21:39Z")
感謝製作！可重新上傳 😀 ---
作者： ![xmg123](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/x/7cd45c/32.png) [@xmg123](https://forum.freemdict.com/u/xmg123)\ 发布日期： [2023 年10 月 18 日 14:14 UTC](https://forum.freemdict.com/t/topic/24143/9 "2023-10-18T14:14:28Z")
感谢分享，辛苦制作 ---
作者： ![3futoucher](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/3/47e85d/32.png) [@3futoucher](https://forum.freemdict.com/u/3futoucher)\ 发布日期： [2023 年10 月 20 日 00:38 UTC](https://forum.freemdict.com/t/topic/24143/10 "2023-10-20T00:38:53Z")
非常感谢，等全部出来啊 ---
作者： ![Akira](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/a/ba8739/32.png) [@Akira](https://forum.freemdict.com/u/Akira)\ 发布日期： [2023 年10 月 20 日 07:34 UTC](https://forum.freemdict.com/t/topic/24143/11 "2023-10-20T07:34:08Z")
Thank you so much for your contribution! I wonder if you use some kind of multi-threading to reduce the time of processing… ---
作者： ![meandmyhomies](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/958977/32.png) [@meandmyhomies](https://forum.freemdict.com/u/meandmyhomies)\ 发布日期： [2023 年10 月 20 日 10:33 UTC](https://forum.freemdict.com/t/topic/24143/12 "2023-10-20T10:33:24Z")
I do use multithreading, and even with that, it takes a very long time to process, memory and disk intensive too. Probably more than an hour per json file (2GB data) and average 20 hours per mdx. ---
作者： ![Akira](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/a/ba8739/32.png) [@Akira](https://forum.freemdict.com/u/Akira)\ 发布日期： [2023 年10 月 20 日 10:52 UTC](https://forum.freemdict.com/t/topic/24143/13 "2023-10-20T10:52:34Z")
May I ask how many threads you are using? ---
作者： ![meandmyhomies](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/958977/32.png) [@meandmyhomies](https://forum.freemdict.com/u/meandmyhomies)\ 发布日期： [2023 年10 月 20 日 10:57 UTC](https://forum.freemdict.com/t/topic/24143/14 "2023-10-20T10:57:34Z")
I have 12 cores / 24 threads, 64GB memory. Each mdx is exactly 20 json and approx 1/2 million entries. ---
作者： ![Akira](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/a/ba8739/32.png) [@Akira](https://forum.freemdict.com/u/Akira)\ 发布日期： [2023 年10 月 20 日 11:27 UTC](https://forum.freemdict.com/t/topic/24143/15 "2023-10-20T11:27:16Z")
Thank you so much for your explanation. The workload is indeed heavy. ---
作者： ![meandmyhomies](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/958977/32.png) [@meandmyhomies](https://forum.freemdict.com/u/meandmyhomies)\ 发布日期： [2023 年10 月 20 日 11:32 UTC](https://forum.freemdict.com/t/topic/24143/16 "2023-10-20T11:32:15Z")
It wasn’t designed for big data, wiki is orders of magnitude larger than the largest dictionaries, such as OED. I guess the process is adequate but slow given the file sizes. ---
作者： ![amob](https://forumcdn.freemdict.com/user_avatar/forum.freemdict.com/amob/32/14630_2.png) [@amob](https://forum.freemdict.com/u/amob)\ 发布日期： [2023 年10 月 20 日 13:45 UTC](https://forum.freemdict.com/t/topic/24143/17 "2023-10-20T13:45:58Z")
配置好强，看来未来如果要做大型mdx得换个旗舰cpu了。 ---
作者： ![meandmyhomies](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/958977/32.png) [@meandmyhomies](https://forum.freemdict.com/u/meandmyhomies)\ 发布日期： [2023 年10 月 20 日 13:59 UTC](https://forum.freemdict.com/t/topic/24143/18 "2023-10-20T13:59:59Z")
除了wiki，不知道有啥mdx需要特别大的配置，32gb足矣 ---
作者： ![last\_idol](https://forumcdn.freemdict.com/user_avatar/forum.freemdict.com/last_idol/32/2205_2.png) [@last\_idol](https://forum.freemdict.com/u/last_idol)\ 发布日期： [2023 年10 月 20 日 14:17 UTC](https://forum.freemdict.com/t/topic/24143/19 "2023-10-20T14:17:08Z")
mdx 这个格式相对简单，实际可以一边读一边写磁盘，最后再拼接起来，用不了多少内存。全读内存比较省事，看看以后有没有人改进。 ---
作者： ![meandmyhomies](https://forumcdn.freemdict.com/letter_avatar_proxy/v4/letter/m/958977/32.png) [@meandmyhomies](https://forum.freemdict.com/u/meandmyhomies)\ 发布日期： [2023 年10 月 20 日 14:19 UTC](https://forum.freemdict.com/t/topic/24143/20 "2023-10-20T14:19:32Z")
我要去重，还有很多细节，放在database里面处理，最后形成mtext，这里有些单线程，最后全部内容必须放在RAM里面，比较费力。 [下一页](https://forum.freemdict.com/t/topic/24143.md?page=2)