最近準備做一個關于scrapy框架的實戰，爬取騰訊社招信息并存儲，這篇博客記錄一下創建項目的步驟
pycharm是無法創建一個scrapy項目的
因此，我們需要用命令行的方法新建一個scrapy項目
請確保已經安裝了scrapy，twisted，pypiwin32
一：進入你所需要的路徑，這個路徑存儲你創建的項目
我的將放在E盤的Scrapy目錄下
二：創建項目：scrapy startproject ***(這個是項目名)
這樣就創建好了一個名為tencent的項目
三：進入項目新建一個爬蟲：scrapy genspider tencent_spider hr.tencent.com
這里我們要注意，上面的命令，加黑的是爬蟲名稱，斜體是域名
這樣，我們就新建了一個爬蟲項目，打開文件夾查看
打開spiders
然后我們用pycharm打開
點擊File —>open，找到項目所在文件夾，打開即可
這樣，我們就新建了一個scrapy項目，如果安裝了所需要的庫，scrapy飄紅，記得去切換解釋器
在File—>settings的標紅的地方
另外推薦大家，在根目錄下新建一個start.py的文件并寫入
from scrapy import cmdline
cmdline.execute("scrapy crawl tencent_spider".split())
這樣，我們每次運行，運行start.py，即可，不用到命令行執行運行命令
鼠標右鍵tencent，新建python文件，即可創建。
以上所述是小編給大家介紹的python3 Scrapy爬蟲創建項目詳解整合，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對億速云網站的支持！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
