每时每刻不管你睡了还是没睡，互联网都会有海量的数据来来往往，有客服端到服务端，有服务端到服务端。http的get和request完成的角色即为数据的获取及提交,接下来我们动手写一个简单的小爬虫来爬爬菜鸟教程中关于node的章节的课程界面。
爬取Node.js 教程首页的所有数据
建立node-http.js,其中代码如下，代码中有详细的的注释，自行理解了哈
http.get(url,function(res){
var html='';
// 这里将会触发data事件，不断触发不断跟新html直至完毕
res.on('data',function(data){
html +=data
})
// 当数据获取完成将会触发end事件，这里将会打印初node官网的html
res.on('end',function(){
console.log(html)
})
}).on('error',function(){
console.log('获取node官网相关数据出错')
})
终端执行结果中发现这个页面的html全部被爬下来了
当然爬个HTML对于我们来说没啥用，现在我们要做些过滤，比如这个node教程中我想知道课程目录有哪些，这样可以选择感兴趣的去看看学学。直接上代码吧还是：
不过在此之前我们需要下载cheerio模块（cheerio是nodejs的抓取页面模块，为服务器特别定制的，快速、灵活、实施的jQuery核心实现。适合各种Web爬虫程序。）具体详细介绍你们可以自行去搜索了解，cheerio的用跟jquery的用法非常类似，所以不用担心上手繁琐。
建立node-http-more.js,其中代码如下：
return chapterData;
}
//获取每个数据
function getChapterData(nodeChapter){
nodeChapter.forEach(function(item){
console.log(' 【 '+item.id+' 】'+item.title+'\n')
});
}
http.get(url,function(){
//console.log(html)
// 过滤出node.js的课程目录
var nodeChapter= filerNodeChapter(html);
//循环打印所<a href="https://www.jb51.cc/tag/huoqu/" target="_blank" class="keywords">获取</a>的数据
getChapterData(nodeChapter)})
}).on('error',function(){
console.log('获取node官网相关数据出错')
})
终端执行结果及打印出课程目录
【 /nodejs/nodejs-install-setup.html 】
Node.js 安装配置
【 /nodejs/nodejs-http-server.html 】
Node.js 创建第一个应用
【 nodejs-npm.html 】 NPM 使用介绍
【 nodejs-repl.html 】 Node.js REPL
【 nodejs-callback.html 】 Node.js 回调函数
【 nodejs-event-loop.html 】 Node.js 事件循环
【 nodejs-event.html 】 Node.js EventEmitter
【 nodejs-buffer.html 】 Node.js Buffer
【 nodejs-stream.html 】 Node.js Stream
【 /nodejs/nodejs-module-system.html 】
Node.js 模块系统
。。。。。。。。。。。
这里就不全部给出，你可以自己尝试着运行操作查看所有结果
到此一个简单的爬虫就写完了，赶紧自己动手试试吧，希望对大家的学习有所帮助，也希望大家多多支持编程之家。
原文链接：https://www.f2er.com/nodejs/34217.html