溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

Python中while true如何實現爬蟲定時任務

發布時間:2020-07-17 16:32:19 來源:億速云 閱讀:176 作者:小豬 欄目:開發技術

小編這次要給大家分享的是Python中while true如何實現爬蟲定時任務,文章內容豐富,感興趣的小伙伴可以來了解一下,希望大家閱讀完這篇文章之后能夠有所收獲。

記得以前的windows 任務定時是可以的正常使用的,今天試了下,發現不能正常使用了,任務計劃總是掛起。

接下來記錄下python 爬蟲定時任務的幾種解決方法。

今天是第一篇,后面會陸續更新。

首先最容易的是while true死循環掛起,上代碼

import osimport timeimport sysfrom datetime import datetime, timedelta
def One_Plan():
   # 設置啟動周期
   Second_update_time = 24 * 60 * 60
   
  # 當前時間
  now_Time = datetime.now()
  # 設置 任務啟動時間
  plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0) 
  # 設置差值,-1 day, 21:48:53.246576,類似于這樣
  # time.sleep()需要傳入int,所以下面使用.total_seconds() 
  # 主要用來計算差值,返回int,具體功能可以自行查閱相關資料
  delta = plan_Time - now_Time
  first_plan_Time = delta.total_seconds() % Second_update_time
  print("距離第一次執行需要睡眠%d秒" % first_plan_Time)
  return first_plan_Time

# while Ture代碼塊,掛起程序,睡眠時間結束后調用函數名進行執行
while True:

  s1 = One_Plan()
  time.sleep(s1)
  # 下面這里是自己定義的函數,想跑代碼的可以換成hellow world函數或者注釋掉這行測試下
  exe_file(D_list)
  print("正在執行首次更新程序")

個人感覺使用這種方式進行定時計劃的啟動如果為單個程序,并且一天執行一次的話沒什么問題,如果要考慮到一天執行多個任務并且一天需要執行多次,短板一下就凸顯出來了,

在工作的情況中還需要考慮到很多因素,比如爬蟲程序需要在晚上12點和早上6點,9點,下午3點執行四次,并且需要同時執行4個爬蟲,還需要考慮到網絡是否穩定,如果程序掛掉該怎么處理等等因素

看完這篇關于Python中while true如何實現爬蟲定時任務的文章,如果覺得文章內容寫得不錯的話,可以把它分享出去給更多人看到。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女