python xpath爬蟲有哪些實用案例

Python的XPath爬蟲在數據抓取和網頁解析中非常有用。以下是一些實用的案例：

爬取豬八戒網站信息

• 案例描述：使用XPath從豬八戒網站抓取服務商信息。
• 實現方法：通過解析HTML頁面，使用XPath選擇器定位并提取所需信息。
• 關鍵代碼：

  import requests
  from lxml import etree
  
  url = "https://www.zbj.com/fw/?k=saas"
  resp = requests.get(url)
  html = etree.HTML(resp.text)
  divs = html.xpath('//*[@id="__layout"]/div/div[3]/div/div[4]/div/div[2]/div[1]/div')
  for div in divs:
      title = div.xpath('./div/div[3]/div[2]/a/text()')[0]
      price = div.xpath("./div/div[3]/div[1]/span/text()")
      com_name = div.xpath('./div/a/text()')
  

爬取58同城二手房信息

• 案例描述：從58同城抓取二手房信息。
• 實現方法：發送HTTP請求獲取頁面內容，然后使用XPath提取所需數據。
• 關鍵代碼：

  import requests
  from lxml import etree
  
  url = "https://xa.58.com/ershoufang/"
  headers = {'User-Agent':'Mozilla/5.0'}
  resp = requests.get(url, headers=headers)
  tree = etree.HTML(resp.text)
  div_list = tree.xpath('//section[@class="list"]/div')
  with open('./58同城二手房.txt','w',encoding='utf-8') as fp:
      for div in div_list:
          title = div.xpath('.//div[@class="property-content-title"]/h3/text()')[0]
          fp.write(title+'\n')
  

爬取圖片并下載

• 案例描述：從某個網站爬取圖片并下載到本地。
• 實現方法：發送HTTP請求獲取圖片鏈接，然后使用XPath提取圖片URL，并下載圖片。
• 關鍵代碼：

  import requests
  from lxml import etree
  import os
  
  url = "https://pic.netbian.com/4kmeinv/"
  headers = {'User-Agent':'Mozilla/5.0'}
  resp = requests.get(url, headers=headers)
  tree = etree.HTML(resp.text)
  li_list = tree.xpath('//div[@class="slist"]/ul/li/a')
  if not os.path.exists('./piclibs'):
      os.mkdir('./piclibs')
  for li in li_list:
      detail_url = li.xpath('./img/@src')[0]
      detail_name = li.xpath('./img/@alt')[0]+'.jpg'
      detail_path = './piclibs/'+ detail_name
      detail_data = requests.get(detail_url, headers=headers).content
      with open(detail_path,'wb') as fp:
          fp.write(detail_data)
  

這些案例展示了XPath在Python爬蟲中的強大功能和廣泛應用。通過學習和實踐這些案例，可以提高你的爬蟲開發技能。