Python3爬蟲中文件上傳的基本操作

這篇文章主要介紹了Python3爬蟲中文件上傳的基本操作，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。

1. 文件上傳

我們知道requests可以模擬提交一些數據。假如有的網站需要上傳文件，我們也可以用它來實現，這非常簡單，示例如下：

import requests
files = {'file': open('favicon.ico', 'rb')}
r = requests.post("http://httpbin.org/post", files=files)
print(r.text)

在前一節中我們保存了一個文件favicon.ico，這次用它來模擬文件上傳的過程。需要注意的是，favicon.ico需要和當前腳本在同一目錄下。如果有其他文件，當然也可以使用其他文件來上傳，更改下代碼即可。

運行結果如下：

{
  "args": {}, 
  "data": "", 
  "files": {
    "file": "data:application/octet-stream;base64,AAAAAA...="
  }, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "6665", 
    "Content-Type": "multipart/form-data; boundary=809f80b1a2974132b133ade1a8e8e058", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.10.0"
  }, 
  "json": null, 
  "origin": "60.207.237.16", 
  "url": "http://httpbin.org/post"
}

以上省略部分內容，這個網站會返回響應，里面包含files這個字段，而form字段是空的，這證明文件上傳部分會單獨有一個files字段來標識。

2. Cookies

前面我們使用urllib處理過Cookies，寫法比較復雜，而有了requests，獲取和設置Cookies只需一步即可完成。

我們先用一個實例看一下獲取Cookies的過程：

import requests
r = requests.get("https://www.baidu.com")
print(r.cookies)
for key, value in r.cookies.items():
    print(key + '=' + value)

運行結果如下：

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>, <Cookie __bsi=13533594356813414194_00_14_N_N_2_0303_C02F
_N_N_N_0 for .www.baidu.com/>]>
BDORZ=27315
__bsi=13533594356813414194_00_14_N_N_2_0303_C02F_N_N_N_0

這里我們首先調用cookies屬性即可成功得到Cookies，可以發現它是RequestCookieJar類型。然后用items()方法將其轉化為元組組成的列表，遍歷輸出每一個Cookie的名稱和值，實現Cookie的遍歷解析。

當然，我們也可以直接用Cookie來維持登錄狀態，下面以知乎為例來說明。首先登錄知乎，將Headers中的Cookie內容復制下來，如圖3-6所示。

                                                                                            圖3-6 Cookie

這里可以替換成你自己的Cookie，將其設置到Headers里面，然后發送請求，示例如下：

import requests
 
headers = {
    'Cookie': 'q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000; d_c0="AGDAs254kAqPTr6NW1U3XT
    LFzKhMPQ6H_nc=|1474273938"; __utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;
    a_t="2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKCy
    nnycerLQ3gIkoJLOCQ==";z_c0=Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBR
    ZFIzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0',
    'Host': 'www.zhihu.com',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) 
    Chrome/53.0.2785.116 Safari/537.36',
}
r = requests.get('https://www.zhihu.com', headers=headers)
print(r.text)

我們發現，結果中包含了登錄后的結果，如圖3-7所示，這證明登錄成功。

                                                                                  圖3-7 運行結果

當然，你也可以通過cookies參數來設置，不過這樣就需要構造RequestsCookieJar對象，而且需要分割一下cookies。這相對煩瑣，不過效果是相同的，示例如下：

import requests
cookies = 'q_c1=31653b264a074fc9a57816d1ea93ed8b|1474273938000|1474273938000; 
d_c0="AGDAs254kAqPTr6NW1U3XTLFzKhMPQ6H_nc=|1474273938"; 
__utmv=51854390.100-1|2=registration_date=20130902=1^3=entry_date=20130902=1;
a_t="2.0AACAfbwdAAAXAAAAso0QWAAAgH28HQAAAGDAs254kAoXAAAAYQJVTQ4FCVgA360us8BAklzLYNEHUd6kmHtRQX5a6hiZxKC
ynnycerLQ3gIkoJLOCQ==";z_c0=Mi4wQUFDQWZid2RBQUFBWU1DemJuaVFDaGNBQUFCaEFsVk5EZ1VKV0FEZnJTNnp3RUNTWE10ZzBRZF
IzcVNZZTFGQmZn|1474887858|64b4d4234a21de774c42c837fe0b672fdb5763b0'
jar = requests.cookies.RequestsCookieJar()
headers = {
    'Host': 'www.zhihu.com',
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko)
     Chrome/53.0.2785.116 Safari/537.36'
}
for cookie in cookies.split(';'):
    key, value = cookie.split('=', 1)
    jar.set(key, value)
r = requests.get("http://www.zhihu.com", cookies=jar, headers=headers)
print(r.text)

這里我們首先新建了一個RequestCookieJar對象，然后將復制下來的cookies利用split()方法分割，接著利用set()方法設置好每個Cookie的key和value，然后通過調用requests的get()方法并傳遞給cookies參數即可。當然，由于知乎本身的限制，headers參數也不能少，只不過不需要在原來的headers參數里面設置cookie字段了。

測試后，發現同樣可以正常登錄知乎。

3. 會話維持

在requests中，如果直接利用get()或post()等方法的確可以做到模擬網頁的請求，但是這實際上是相當于不同的會話，也就是說相當于你用了兩個瀏覽器打開了不同的頁面。

設想這樣一個場景，第一個請求利用post()方法登錄了某個網站，第二次想獲取成功登錄后的自己的個人信息，你又用了一次get()方法去請求個人信息頁面。實際上，這相當于打開了兩個瀏覽器，是兩個完全不相關的會話，能成功獲取個人信息嗎？那當然不能。

有小伙伴可能說了，我在兩次請求時設置一樣的cookies不就行了？可以，但這樣做起來顯得很煩瑣，我們有更簡單的解決方法。

其實解決這個問題的主要方法就是維持同一個會話，也就是相當于打開一個新的瀏覽器選項卡而不是新開一個瀏覽器。但是我又不想每次設置cookies，那該怎么辦呢？這時候就有了新的利器——Session對象。

利用它，我們可以方便地維護一個會話，而且不用擔心cookies的問題，它會幫我們自動處理好。示例如下：

import requests
 
requests.get('http://httpbin.org/cookies/set/number/123456789')
r = requests.get('http://httpbin.org/cookies')
print(r.text)

這里我們請求了一個測試網址http://httpbin.org/cookies/set/number/123456789。請求這個網址時，可以設置一個cookie，名稱叫作number，內容是123456789，隨后又請求了http://httpbin.org/cookies，此網址可以獲取當前的Cookies。

這樣能成功獲取到設置的Cookies嗎？試試看。

運行結果如下：

{
  "cookies": {}
}

這并不行。我們再用Session試試看：

import requests
s = requests.Session()
s.get('http://httpbin.org/cookies/set/number/123456789')
r = s.get('http://httpbin.org/cookies')
print(r.text)

再看下運行結果：

{
  "cookies": {
    "number": "123456789"
  }
}

成功獲??！這下能體會到同一個會話和不同會話的區別了吧！

所以，利用Session，可以做到模擬同一個會話而不用擔心Cookies的問題。它通常用于模擬登錄成功之后再進行下一步的操作。

Session在平常用得非常廣泛，可以用于模擬在一個瀏覽器中打開同一站點的不同頁面，后面會有專門的章節來講解這部分內容。

4. SSL證書驗證

此外，requests還提供了證書驗證的功能。當發送HTTP請求的時候，它會檢查SSL證書，我們可以使用verify參數控制是否檢查此證書。其實如果不加verify參數的話，默認是True，會自動驗證。

前面我們提到過，12306的證書沒有被官方CA機構信任，會出現證書驗證錯誤的結果。我們現在訪問它，都可以看到一個證書問題的頁面，如圖3-8所示。

                                                                                     圖3-8 錯誤頁面

現在我們用requests來測試一下：

import requests
response = requests.get('https://www.12306.cn')
print(response.status_code)

運行結果如下：

requests.exceptions.SSLError: ("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 
'certificate verify failed')],)",)

這里提示一個錯誤SSLError，表示證書驗證錯誤。所以，如果請求一個HTTPS站點，但是證書驗證錯誤的頁面時，就會報這樣的錯誤，那么如何避免這個錯誤呢？很簡單，把verify參數設置為False即可。相關代碼如下：

import requests
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)

這樣就會打印出請求成功的狀態碼：

/usr/local/lib/python3.6/site-packages/urllib3/connectionpool.py:852: InsecureRequestWarning: Unverified HTTPS 
request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io 
/en/latest/advanced-usage.html#ssl-warnings
  InsecureRequestWarning)
200

不過我們發現報了一個警告，它建議我們給它指定證書。我們可以通過設置忽略警告的方式來屏蔽這個警告：

import requests
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)

或者通過捕獲警告到日志的方式忽略警告：

import logging
import requests
logging.captureWarnings(True)
response = requests.get('https://www.12306.cn', verify=False)
print(response.status_code)

當然，我們也可以指定一個本地證書用作客戶端證書，這可以是單個文件（包含密鑰和證書）或一個包含兩個文件路徑的元組：

import requests
response = requests.get('https://www.12306.cn', cert=('/path/server.crt', '/path/key'))
print(response.status_code)

當然，上面的代碼是演示實例，我們需要有crt和key文件，并且指定它們的路徑。注意，本地私有證書的key必須是解密狀態，加密狀態的key是不支持的。

5. 代理設置

對于某些網站，在測試的時候請求幾次，能正常獲取內容。但是一旦開始大規模爬取，對于大規模且頻繁的請求，網站可能會彈出驗證碼，或者跳轉到登錄認證頁面，更甚者可能會直接封禁客戶端的IP，導致一定時間段內無法訪問。

那么，為了防止這種情況發生，我們需要設置代理來解決這個問題，這就需要用到proxies參數?？梢杂眠@樣的方式設置：

import requests
proxies = {
  "http": "http://10.10.1.10:3128",
  "https": "http://10.10.1.10:1080",
}
requests.get("https://www.taobao.com", proxies=proxies)

當然，直接運行這個實例可能不行，因為這個代理可能是無效的，請換成自己的有效代理試驗一下。

若代理需要使用HTTP Basic Auth，可以使用類似http://user:password@host:port這樣的語法來設置代理，示例如下：

import requests
proxies = {
    "http": "http://user:password@10.10.1.10:3128/",
}
requests.get("https://www.taobao.com", proxies=proxies)

除了基本的HTTP代理外，requests還支持SOCKS協議的代理。

首先，需要安裝socks這個庫：

pip3 install 'requests[socks]'

然后就可以使用SOCKS協議代理了，示例如下：

import requests
proxies = {
    'http': 'socks5://user:password@host:port',
    'https': 'socks5://user:password@host:port'
}
requests.get("https://www.taobao.com", proxies=proxies)

6. 超時設置

在本機網絡狀況不好或者服務器網絡響應太慢甚至無響應時，我們可能會等待特別久的時間才可能收到響應，甚至到最后收不到響應而報錯。為了防止服務器不能及時響應，應該設置一個超時時間，即超過了這個時間還沒有得到響應，那就報錯。這需要用到timeout參數。這個時間的計算是發出請求到服務器返回響應的時間。示例如下：

import requests
r = requests.get("https://www.taobao.com", timeout = 1)
print(r.status_code)

通過這樣的方式，我們可以將超時時間設置為1秒，如果1秒內沒有響應，那就拋出異常。

實際上，請求分為兩個階段，即連接（connect）和讀?。╮ead）。

上面設置的timeout將用作連接和讀取這二者的timeout總和。

如果要分別指定，就可以傳入一個元組：

r = requests.get('https://www.taobao.com', timeout=(5,11, 30))

如果想永久等待，可以直接將timeout設置為None，或者不設置直接留空，因為默認是None。這樣的話，如果服務器還在運行，但是響應特別慢，那就慢慢等吧，它永遠不會返回超時錯誤的。其用法如下：

r = requests.get('https://www.taobao.com', timeout=None)

或直接不加參數：

r = requests.get('https://www.taobao.com')

7. 身份認證

在訪問網站時，我們可能會遇到這樣的認證頁面，如圖3-9所示。

                                                                              圖3-9 認證頁面

此時可以使用requests自帶的身份認證功能，示例如下：

import requests
from requests.auth import HTTPBasicAuth
r = requests.get('http://localhost:5000', auth=HTTPBasicAuth('username', 'password'))
print(r.status_code)

如果用戶名和密碼正確的話，請求時就會自動認證成功，會返回200狀態碼，如果認證失敗，則返回401狀態碼。

當然，如果參數都傳一個HTTPBasicAuth類，就顯得有點煩瑣了，所以requests提供了一個更簡單的寫法，可以直接傳一個元組，它會默認使用HTTPBasicAuth這個類來認證。

所以上面的代碼可以直接簡寫如下：

import requests
r = requests.get('http://localhost:5000', auth=('username', 'password'))
print(r.status_code)

此外，requests還提供了其他認證方式，如OAuth認證，不過此時需要安裝oauth包，安裝命令如下：

pip3 install requests_oauthlib

使用OAuth2認證的方法如下：

import requests
from requests_oauthlib import OAuth2
url = 'https://api.twitter.com/1.1/account/verify_credentials.json'
auth = OAuth2('YOUR_APP_KEY', 'YOUR_APP_SECRET',
              'USER_OAUTH_TOKEN', 'USER_OAUTH_TOKEN_SECRET')
requests.get(url, auth=auth)

更多詳細的功能可以參考requests_oauthlib的官方文檔https://requests-oauthlib.readthedocs.org/，在此不再贅述了。

8. Prepared Request

前面介紹urllib時，我們可以將請求表示為數據結構，其中各個參數都可以通過一個Request對象來表示。這在requests里同樣可以做到，這個數據結構就叫Prepared Request。我們用實例看一下：

from requests import Request, Session
url = 'http://httpbin.org/post'
data = {
    'name': 'germey'
}
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) 
    Chrome/53.0.2785.116 Safari/537.36'
}
s = Session()
req = Request('POST', url, data=data, headers=headers)
prepped = s.prepare_request(req)
r = s.send(prepped)
print(r.text)

這里我們引入了Request，然后用url、data和headers參數構造了一個Request對象，這時需要再調用Session的prepare_request()方法將其轉換為一個Prepared Request對象，然后調用send()方法發送即可，運行結果如下：

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "name": "germey"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Connection": "close", 
    "Content-Length": "11", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) 
    Chrome/53.0.2785.116 Safari/537.36"
  }, 
  "json": null, 
  "origin": "182.32.203.166", 
  "url": "http://httpbin.org/post"
}

可以看到，我們達到了同樣的POST請求效果。

有了Request這個對象，就可以將請求當作獨立的對象來看待，這樣在進行隊列調度時會非常方便。后面我們會用它來構造一個Request隊列。

感謝你能夠認真閱讀完這篇文章，希望小編分享Python3爬蟲中文件上傳的基本操作內容對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，遇到問題就找億速云，詳細的解決方法等著你來學習!