java怎么爬取動態網頁

要爬取動態網頁，你需要使用一個支持JavaScript渲染的庫。在Java中，常用的庫有HtmlUnit、Selenium和Jsoup。這里以HtmlUnit為例，介紹如何爬取動態網頁。

1. 首先，確保你已經安裝了Java環境，并使用Maven或Gradle將HtmlUnit添加到項目的依賴中。以下是Maven和Gradle的依賴配置：

Maven:

<dependency>
    <groupId>net.sourceforge.htmlunit</groupId>
    <artifactId>htmlunit</artifactId>
    <version>2.56.0</version>
</dependency>

Gradle:

implementation 'net.sourceforge.htmlunit:htmlunit:2.56.0'

2. 編寫一個Java程序，使用HtmlUnit加載網頁并獲取渲染后的HTML內容：

import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;

public class DynamicWebScraper {

    public static void main(String[] args) throws IOException {
        // 創建WebClient對象
        WebClient webClient = new WebClient();

        // 啟用JavaScript支持
        webClient.getOptions().setJavaScriptEnabled(true);

        // 設置超時時間（可選）
        webClient.getOptions().setJavaScriptTimeout(10000);

        // 獲取網頁
        HtmlPage page = webClient.getPage("https://example.com/dynamic-page");

        // 等待頁面加載完成（可選）
        webClient.waitForBackgroundJavaScript(10000);

        // 獲取渲染后的HTML內容
        String htmlContent = page.asXml();

        // 關閉WebClient
        webClient.close();

        // 將HTML內容寫入文件
        try (BufferedWriter writer = new BufferedWriter(new FileWriter("output.html"))) {
            writer.write(htmlContent);
        }

        System.out.println("動態網頁已成功抓取并保存到output.html文件中");
    }
}

這個示例將會訪問指定的URL（請替換為實際的動態網頁URL），執行JavaScript代碼，等待頁面加載完成，然后將渲染后的HTML內容保存到名為"output.html"的文件中。

注意：HtmlUnit可能無法完美地模擬所有瀏覽器的行為，因此在某些情況下，你可能需要使用Selenium。