php網頁爬蟲 怎樣處理重定向

在PHP中，處理網頁爬蟲的重定向可以通過檢查HTTP響應頭中的Location字段來實現。當服務器返回一個重定向響應（通常是HTTP狀態碼為301或302）時，Location字段會包含新的URL。你可以使用PHP的getallheaders()函數來獲取這些信息，并據此更新你要爬取的URL。

以下是一個簡單的示例，展示了如何在PHP中處理重定向：

<?php
function getUrlContent($url) {
    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, $url);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); // 跟隨重定向
    curl_setopt($ch, CURLOPT_MAXREDIRS, 10); // 限制最大重定向次數

    $content = curl_exec($ch);
    $responseCode = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    $redirectUrl = curl_getinfo($ch, CURLINFO_EFFECTIVE_URL); // 獲取最終URL

    curl_close($ch);

    if ($responseCode == 301 || $responseCode == 302) {
        // 如果響應碼是重定向，遞歸調用getUrlContent函數
        return getUrlContent($redirectUrl);
    } else {
        // 返回頁面內容
        return $content;
    }
}

$url = 'http://example.com/some-redirect-url';
$content = getUrlContent($url);
echo $content;
?>

在這個示例中，我們定義了一個名為getUrlContent的函數，它接受一個URL作為參數。我們使用curl_init()初始化一個新的cURL會話，并使用curl_setopt()設置各種選項。我們將CURLOPT_FOLLOWLOCATION設置為true，以便cURL自動處理重定向。我們還設置了CURLOPT_MAXREDIRS以限制最大重定向次數，以防止無限循環。

在獲取內容后，我們檢查HTTP響應碼是否為301或302（表示重定向）。如果是重定向，我們遞歸調用getUrlContent函數并傳遞新的URL。如果不是重定向，我們返回頁面內容。

請注意，這個示例使用了cURL庫，它是PHP的一個內置庫。如果你的環境中沒有啟用cURL，你需要先啟用它。