這期內容當中小編將會給大家帶來有關nodejs中怎么實現一個多頁面爬蟲，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。
request
用于請求地址和快速下載圖片流。 https://github.com/request/request
cheerio
為服務器特別定制的，快速、靈活、實施的jQuery核心實現.
便于解析html代碼。 https://www.npmjs.com/package/cheerio
async
異步調用，防止堵塞。 http://caolan.github.io/async/
核心思路
用request 發送一個請求。獲取html代碼，取得其中的img標簽和a標簽。
通過獲取的a表情進行遞歸調用。不斷獲取img地址和a地址，繼續遞歸
獲取img地址通過request(photo).pipe(fs.createWriteStream(dir + “/” + filename));進行快速下載。
function requestall(url) {
request({
uri: url,
headers: setting.header
}, function (error, response, body) {
if (error) {
console.log(error);
} else {
console.log(response.statusCode);
if (!error && response.statusCode == 200) {
var $ = cheerio.load(body);
var photos = [];
$('img').each(function () {
// 判斷地址是否存在
if ($(this).attr('src')) {
var src = $(this).attr('src');
var end = src.substr(-4, 4).toLowerCase();
if (end == '.jpg' || end == '.png' || end == '.jpeg') {
if (IsURL(src)) {
photos.push(src);
}
}
}
});
downloadImg(photos, dir, setting.download_v);
// 遞歸爬蟲
$('a').each(function () {
var murl = $(this).attr('href');
if (IsURL(murl)) {
setTimeout(function () {
fetchre(murl);
}, timeout);
timeout += setting.ajax_timeout;
} else {
setTimeout(function () {
fetchre("http://www.ivsky.com/" + murl);
}, timeout);
timeout += setting.ajax_timeout;
}
})
}
}
});
}防坑
1.在request通過圖片地址下載時，綁定error事件防止爬蟲異常的中斷。
2.通過async的mapLimit限制并發。
3.加入請求報頭，防止ip被屏蔽。
4.獲取一些圖片和超鏈接地址，可能是相對路徑（待考慮解決是否有通過方法）。
function downloadImg(photos, dir, asyncNum) {
console.log("即將異步并發下載圖片，當前并發數為:" + asyncNum);
async.mapLimit(photos, asyncNum, function (photo, callback) {
var filename = (new Date().getTime()) + photo.substr(-4, 4);
if (filename) {
console.log('正在下載' + photo);
// 默認
// fs.createWriteStream(dir + "/" + filename)
// 防止pipe錯誤
request(photo)
.on('error', function (err) {
console.log(err);
})
.pipe(fs.createWriteStream(dir + "/" + filename));
console.log('下載完成');
callback(null, filename);
}
}, function (err, result) {
if (err) {
console.log(err);
} else {
console.log(" all right ! ");
console.log(result);
}
})
}測試：
可以感覺到速度還是比較快的。
上述就是小編為大家分享的nodejs中怎么實現一個多頁面爬蟲了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
