需要用到的第三方模块有:
superagent
superagent-charset (手动指定编码,解决GBK中文乱码)
cheerio
express
async (并发控制)
完整的代码,可以在中可以下载。主要的逻辑逻辑在 netbian.js 中。
以彼岸桌面()栏目下的风景壁纸()为例进行讲解。
1. 分析URL
不难发现:
首页: 栏目/index.htm
分页: 栏目/index_具体页码.htm
知道这个规律,就可以批量下载壁纸了。
2. 分析壁纸缩略图,找到对应壁纸的大图
使用chrome的开发者工具,可以发现,缩略图列表在 class="list"的div里,a标签的href属性的值就是单张壁纸所在的页面。
部分代码:
3. 以“http://www.netbian.com/desk/17662.htm”继续分析
打开这个页面,发现此页面显示的壁纸,依旧不是最高的分辨率。
点击“下载壁纸”按钮里的链接,打开新的页面。
4. 以“http://www.netbian.com/desk/17662-1920x1080.htm”继续分析
打开这个页面,我们最终要下载的壁纸,放在一个table里面。如下图,
才是我们最终要下载的图片的URL(幕后BOSS终于现身了(@ ̄ー ̄@))。
选择栏目和页面,点击“开始”按钮:
并发请求服务器,下载图片。
完成~
图片的存放目录按照 栏目+页码 的形式保存。
附上完整的图片下载的代码:
'); }); callback(null,wallpaper); // 返回数据 }); },delay); }; // 并发为2,下载壁纸 async.mapLimit(pic_url,2,function(_pic_url,callback){ fetchPic(_pic_url,callback); },function (err,result){ console.log('success'); res.send(result[0]); // 取下标为0的元素 }); }); };