使用aria2下载网页

下载数以万计已知地址的网页(能访问,无反爬),用aria2就好了:

一、安装aria2

二、把地址一行一个写进"urls.txt"

三、执行“aria2c -i urls.txt"

四、坐和放宽

2 Likes

执行“aria2c -d ./downloads -x 16 -j 16 -i ./urls.txt”更妥,下面是Manual:

aria2本身是个通用型下载工具,只制作mdx的话,用来撸网页/图片/音频,特方便。下面是示例"urls.txt":

urls.7z (48.8 KB)

下载网页只能占制作mdx的最多 十分之一 工作量

对的,但哪怕只占1%,也值得思考是否有改进的余地。

1 Like

Collins English Dictionary的索引:

index.7z (1.0 MB)

怎么得到的:

00in.7z (2.1 MB)

1 Like

aria2可以指定文件保存名的,你(用正则)查找替换,在"urls.txt"里每条链接下添加一行" out=filename",就行了。最近忙炸了,没办法代劳。

但是Aria能下载的只是网页的静态部分吧,跨域的调用资源和动态部分无能为力啊