多線程python爬蟲如何進行任務狀態監控

在Python中，可以使用多種方法對多線程爬蟲的任務狀態進行監控。以下是一些建議：

1. 使用線程安全的隊列（如queue.Queue）來存儲任務狀態。這樣，所有線程都可以訪問和更新任務狀態，而不會出現競爭條件。

import queue
import threading

task_queue = queue.Queue()

2. 為每個任務分配一個唯一的標識符（如任務ID），并將其添加到任務隊列中。

def add_task(task_id, task):
    task_queue.put((task_id, task))

3. 創建一個監控線程，定期檢查任務隊列中的任務狀態。如果發現某個任務已經完成或失敗，可以從隊列中移除該任務，并更新相關記錄。

def monitor_tasks():
    while True:
        task_id, task = task_queue.get()
        if task.is_completed():
            print(f"Task {task_id} completed.")
        elif task.is_failed():
            print(f"Task {task_id} failed.")
        task_queue.task_done()

4. 在爬蟲線程中，完成任務后調用task.complete()方法，表示任務已完成。如果任務失敗，調用task.fail()方法，表示任務失敗。

class Task:
    def __init__(self, task_id):
        self.task_id = task_id
        self.status = "pending"

    def complete(self):
        self.status = "completed"

    def fail(self):
        self.status = "failed"

    def is_completed(self):
        return self.status == "completed"

    def is_failed(self):
        return self.status == "failed"

5. 在主程序中啟動監控線程，并確保在程序結束時調用task_queue.join()方法，以便監控線程可以完成所有剩余任務。

def main():
    # 創建任務并添加到隊列
    task1 = Task(1)
    task2 = Task(2)
    add_task(1, task1)
    add_task(2, task2)

    # 啟動監控線程
    monitor_thread = threading.Thread(target=monitor_tasks)
    monitor_thread.start()

    # 啟動爬蟲線程
    crawl_threads = []
    for _ in range(5):
        thread = threading.Thread(target=crawl_task, args=(task_queue,))
        thread.start()
        crawl_threads.append(thread)

    # 等待所有爬蟲線程完成
    for thread in crawl_threads:
        thread.join()

    # 等待監控線程完成剩余任務
    task_queue.join()

if __name__ == "__main__":
    main()

通過這種方式，您可以輕松地監控多線程爬蟲的任務狀態，并在任務完成或失敗時采取相應的措施。