百度百科1200万条完整条目数据txt
几年前在某论坛找到的百度百科条目数据, 应该是包含了2020年以前的所有条目，有35GB txt数据，220GB html数据，7TB相册图片数据。
txt我下载到了，其他没下载到，现在分享给大家，有能力的可以做成mdx。
阿里云盘下载地址：
百度百科1200万完整条目数据txt
提取码：
4i3p
3 个赞
欢迎分享资料。
以前我曾把一个百度百科的数据做成Access数据库，发现比四库全书的数据还大，但是充满内置广告的垃圾。我无法把有用的数据和垃圾分开，只好弃之不用。我个人认为：维基百科比较有用。
供参考：
百度百科2011+互动百科2012纯文字版-2020.4阿弥陀佛
百度百科2012纯文字版【阿彌陀佛】修訂2020.3.30
Index of /uploads/137229/度娘 百科2020/
按：5个mdx加起来小于20g。大概还行？理论上数据库越大越好，但是自己的电脑配置要够强才行。数据库大到电脑跑不动，就完全没用了。
Index of /100G_Super_Big_Collection/百科/互动百科/
Index of /100G_Super_Big_Collection/百科/维基百科/
Index of /100G_Super_Big_Collection/百科/邱海波维基更新到20171009/中文维基百科/
参看：
1 个赞
百度百科，且不管内容质量如何，只要能上网，随时就查了，而且不断更新，这个那么大，有必要吗？
2 个赞
制作完成后凭mdx/mdd到百度hr领取入职通知书一份
需要借助网络的东西永远靠不住，我们追求的是本地化，自己可控，而不是你一句“随时可查”就否认了许多类似辞典的的存在。再说，百度百科自有它的价值，联合查询时和维基对比也能发现各自的可笑之处。再说同一词条的不同版本对比，本就是求知的过程。
6 个赞
还有一个问题，经过censored的baidupedia权威性如何，是否值得本地化？就像苏联大百科有在democratic国家看来十分荒谬的东西。
请教下，有谁知道百度百科的条目数据是怎么爬取的？是拿什么词头撞的吗？还是有现成的索引？
我外行，这个你应该是专家吧？虚怀若谷。我谷歌到这个：
BaikeKnowledgeSchema
另外有：
python自动规则化抓取百度百科词条数据
Python爬虫实现爬取百度百科词条功能实例
Python抓取百度百科数据
本文整理自慕课网《Python开发简单爬虫》(Python开发简单爬虫_python爬虫入门教程_python爬虫视频教程-慕课网)，将会记录爬取百度百科“python”词条相关页面的整个过程。
Python抓取百度百科数据 - VoidKing - SegmentFault 思否
之前的数据，包括上面链接里的，使用都是类似撞库的方式爬取的数据，会缺失一些冷门孤立的词条，如果没有现成索引的话，就只能使用这种方式了。
百度百科的词头应该没有私用区字和图像字？
假如分两轮抓，第一轮先把所有汉字丢进去检索，把返回的词头都搜集起来。
把词头去重后，得出一份词头。
然后再用词头抓第二轮。这样不知道行不行？
当然，我完全不懂爬虫，只是纸上谈兵。
不过百度百科我真没什么兴趣，太多广告式词条，无法和有用的数据分开。有用的数据里还有许多是抄袭的，如《汉语大词典》。
我对维基百科比较感兴趣。听说可以直接下载，不过是json数据？那就不知道怎样处理。
百度百科用单个汉字去撞，只能撞到汉字的数据，不太行。
JSON数据需要编程处理，也有XML格式的数据，或者直接从OpenZIM导出数据也行？应该是HTML格式的（没有试过
1 个赞
1 个赞
敢问现在还有链接吗？阿里云盘分享已经被吞了。如果可以的话封包发百度云也行。谢谢大佬。
链接失效了，大佬还有新的链接吗