本文實例講述了node實現的爬蟲功能。分享給大家供大家參考，具體如下：
node是服務器端的語言，所以可以像python一樣對網站進行爬取，下面就使用node對博客園進行爬取，得到其中所有的章節信息。
第一步： 建立crawl文件，然后npm init。
第二步： 建立crawl.js文件，一個簡單的爬取整個頁面的代碼如下所示：
var http = require("http");
var url = "http://www.cnblogs.com";
http.get(url, function (res) {
var html = "";
res.on("data", function (data) {
html += data;
});
res.on("end", function () {
console.log(html);
});
}).on("error", function () {
console.log("獲取課程結果錯誤！");
});
即引入http模塊，然后利用http對象的get請求，即一旦運行，相當于node服務器端發送了一個get請求請求這個頁面，然后通過res返回，其中on綁定data事件用來不斷地接受數據，最后end時我們就在后臺打印出來。
這只是整個頁面的一部分，我們可以在此頁面審查元素，發現確實是一樣的
我們只需要將其中的章節title和每一小節的信息爬到即可。
第三步： 引入cheerio模塊，如下：（在gitbash中安裝即可，cmd總是出問題）
cnpm install cheerio --save-dev
這個模塊的引入，就是為了方便我們操作dom，就像jQuery一樣。
第四步： 操作dom，獲取有用信息。
var http = require("http");
var cheerio = require("cheerio");
var url = "http://www.cnblogs.com";
function filterData(html) {
var $ = cheerio.load(html);
var items = $(".post_item");
var result = [];
items.each(function (item) {
var tit = $(this).find(".titlelnk").text();
var aut = $(this).find(".lightblue").text();
var one = {
title: tit,
author: aut
};
result.push(one);
});
return result;
}
function printInfos(allInfos) {
allInfos.forEach(function (item) {
console.log("文章題目 " + item["title"] + '\n' + "文章作者 " + item["author"] + '\n'+ '\n');
});
}
http.get(url, function (res) {
var html = "";
res.on("data", function (data) {
html += data;
});
res.on("end", function (data) {
var allInfos = filterData(html);
printInfos(allInfos);
});
}).on("error", function () {
console.log("爬取博客園首頁失敗")
});
即上面的過程就是在爬取博客的題目和作者。
最終后臺輸出如下：
這和博客園首頁的內容是一致的：
希望本文所述對大家nodejs程序設計有所幫助。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
