怎么用python爬蟲分析動態網頁的商品信息

這篇文章主要介紹怎么用python爬蟲分析動態網頁的商品信息，文中介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們一定要看完！

先安裝Puppeteer庫，用到的也就只有這個庫：

npm install puppeteer

鏈接網頁也非常簡單，只需要幾行代碼：

const puppeteer = require('puppeteer')
 
//啟動瀏覽器
const browers = await puppeteer.launch()
//啟動新頁面
const page = await browers.newPage()
//鏈接網址
await page.goto(url)

拿到了同類所有商品的標簽信息，接下來開始分析信息。獲取里面所有商品的名稱，然后對照關鍵字是否存在，如果存在則將headless改為false彈出窗口提醒，如果不存在則在半小時后再次鏈接。Puppeteer提供了一個等待命令page.waitFor()，不僅可以按時間等待，也可以按某個元素的加載進度進行等待。

const goods = page.$$eval('#auctionRecommend > div.mc > ul > li', el => {
    //錯誤和關鍵字不存在都會返回false
    try {
        for (let i = 0; i < el.length; i++) {
            let n = el[i].querySelector('div.p-name').textContent
            if(n.includes('妙控板')){
                return true
            } else {
                return false
            }
        }
    } catch (error) {
        return false
    }
})
 
if(!bool){
    return console.log('網頁已打開，不再監控')
}
 
//根據goods里面的回調函數返回ture或false來決定是否開啟瀏覽器界面
await goods.then(async (b) => {
    if(b){
        console.log('有貨了！')
        await page.waitFor(2000)
        await browers.close()
        return requestUrl(false)
    }  else {
        console.log('還沒貨')
        console.log('三十分鐘后再嘗試')
        await page.waitFor(1800000)
        await browers.close()
        return requestUrl(true)
    }
})

以上是“怎么用python爬蟲分析動態網頁的商品信息”這篇文章的所有內容，感謝各位的閱讀！希望分享的內容對大家有幫助，更多相關知識，歡迎關注億速云行業資訊頻道！