User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.1276.73 Safari/537.36
，表明你是瀏覽器訪問即可。有時還會檢查是否帶
Referer
信息還會檢查你的
Referer
是否合法
。
服務器一般會使用cookie來標識用戶，如果接受并帶上該cookie繼續訪問，服務器會認為你是一個已標識的正常用戶。因此，大部分網站需要使用cookie的來爬取內容。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
