本文小編為大家詳細介紹“python Scrapy shell怎么使用”，內容詳細，步驟清晰，細節處理妥當，希望這篇“python Scrapy shell怎么使用”文章能幫助大家解決疑惑，下面跟著小編的思路慢慢深入，一起來學習新知識吧。
前言：
我們想要在爬蟲中使用xpath、beautifulsoup、正則表達式，css選擇器等來提取想要的數據，但是因為scrapy是一個比較重的框架，每次運行都要等到一段時間，因此要去驗證我們提取規則是否正確，是一個比較麻煩的事情，因此，scrapy提供了一個shell。用來方便的測試規則，當然也不僅僅局限于這一個功能。
打開Scrapy shell：
進入命令行終端，進入到scrapy項目所在的目錄，然后進入到scrapy框架所在的虛擬環境中，輸入命令 scrapy shell [鏈接] ，就會進入到scrapy的shell環境中。在這個環境中，你可以跟在爬蟲的parse方法中一樣使用了。
進入到scrapy項目所在的目錄：
cd /Volumes/development/Python_learn/PycharmProjects/scrapy_demo/bmw_img_demo/
進入到scrapy框架所在的虛擬環境中：
source /Volumes/development/Python_learn/PycharmProjects/venv/crawler_evn/bin/activate
輸入命令 scrapy shell [鏈接] :
rapy shell https://car.autohome.com.cn/pic/series/66.html
輸入我們需要測試的語句：
srcs = response.xpath('//div[contains(@class,"uibox-con")]/ul/li/a/img/@src').getall()
讀到這里，這篇“python Scrapy shell怎么使用”文章已經介紹完畢，想要掌握這篇文章的知識點還需要大家自己動手實踐使用過才能領會，如果想了解更多相關內容的文章，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
