目的：采集网站文章。
两个依赖项:
request :https://github.com/request/request
cheerio:https://github.com/cheeriojs/cheerio
package.json文件：
{
"name":"zqz",
"version":"1.0.1",
"private":false,
"dependencies":{
"request":"*",
"cheerio":"*"
}
}
cdm中执行：npm install 进行安装依赖的2个包。
app.js文件：
/**
* 数据采集
*/
//引入需要的包
var request = require('request');
var cheerio = require('cheerio');//定义常量
var dolphin = 'http://cn.dolphin.com/blog';//数据请求
function dataRequest(dataUrl) {
//发送请求
request({
url : dataUrl,
method : 'GET'
},function(err, red, body) {
//请求到body
if(err){
console.log(dataUrl);
console.error('[ERROR]Collection' + err);
return;
}if(dataUrl && dataUrl === dolphin){
dataPraseDolphin(body);
}
})
}/**
* 解析html
*/
function dataPraseDolphin(body) {var $ = cheerio.load(body);var atricles = $('#content').children('.status-publish');for(var i = 0;i < atricles.length;i++){
var article = atricles[i];var $a = $(article).find('.post-title .entry-title a');
var $p = $(article).find('.post-content p');var $aVal = $($a).text();
var $pVal = $($p).text();if($p)
{
console.info('--------------'+ (i+1) +' Chapter------------------');
console.info('标题：' + $aVal);
console.info('简介：' + $pVal);
console.info('时间：' + new Date)
console.info('---------------------------------------------------');
}
}
}//开始发送请求 并 采集数据
dataRequest(dolphin);
Sublime 中 ctrl+B 执行
结果：
