Python爬蟲之利用Github搜索資源的方法

小編給大家分享一下Python爬蟲之利用Github搜索資源的方法，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

這段時間以來，我發現大家都把Github掛在嘴上，但是不少人其實并不會用Github。具體怎么說呢，比方說實現某些簡單的功能的時候，自己可能需要花2-3小時去實現，那么大家愿意自己去實現。

具體一些，比方說我以前寫一個簡單的爬蟲采集大眾點評的一些數據的時候，我可能需要花時間去了解網站結構然后寫爬蟲，寫下來沒個半天不行。但是這種網站你上Github搜索「大眾點評爬蟲」或者「dazhongdianping」等等關鍵詞。你會發發現有一堆的爬蟲項目，你直接拿來稍微改一下就能用了。

這個直接能節省你半天甚至一天的時間，你可以節省這一天的時間用在更有意義的事情上面，比如說做深入的挖掘分析。

我們很多搞技術的人經常會陷入所有事情都要親自干的這種誤區。但記住并不是所有事情都要親力親為的，有時候只是浪費時間。比你成功的人通常不會重復造輪子，而是會利用資源。

在利用Github搜索資源的時候其實也是有一些小技巧的。也不能稱之為技巧，但你往下看肯定是讓你非常受益的。

1、awesome + xx

awesome這個單詞表示的棒極了一類意思，如果你在Github中搜索awesome + xxxg關鍵詞，你就能搜索這個關鍵詞的資源大全，比方說：

awesome python

awesome go

awesome linux

你就會發現關于這些東西的學習資料真的是一大堆一大堆的。無論是書籍資源，庫資源，還是學習視頻、學習筆記，應有盡有。會了這個技能你再也不用到處求學習資源了。

2、功能 + 網站

我在上面舉了個例子。比方說當你想采集某個網站的時候，你可以在Github里面搜「網站名稱 +Scrapy」，如果搜不到可以搜「網站名稱+采集」，還可以搜「網站名稱+Python」等等。

如果你想做一個仿大眾點評的App，那么你在Github上搜「仿大眾點評」，你就能快速找到別人做的一個大眾點評項目，拿來幾乎可以直接用了，想一想這節省了你多少時間？

有時候你找不到，可能僅僅是你關鍵詞弄得不對，記得換一換關鍵詞，比如說英文搜索，拼音搜索，大多時候就能搜到了。

3、接口

大家在開發調用一些數據接口查詢的時候，個人開發者一般來說都有一些調用的限制，必須要成為企業或者付費才能調高這些限制。

比如說百度的地圖的路線規劃API，普通開發者的Key一天只能調用2000次，而且并發只有20次，這個數量肯定不夠，但是我們個人開發者又不愿意花錢去搞這件事情，怎么辦呢？

我們看到這個接口調用是這樣調用的，只要在最后寫上開發者的AK就行了，所以我們把這個網址中不是自定義的內容直接拿到Github里面搜就可以了。全是你想要的東西。

其實類似的操作很多的，比方說搜數據庫的密碼。你想想在開發的過程中哪些東西是約定俗成不會變的，你在GitHub中就能搜索到了。當然并沒有讓你去干壞事撒。

類似的小技巧其實挺多的，Github其實真是一個藏寶的地方，關鍵是你會不會用。要會發揮想象力，多想多動手，千萬不要不想只動手。

以上是Python爬蟲之利用Github搜索資源的方法的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！