python爬蟲如何使用json庫

這期內容當中小編將會給大家帶來有關python爬蟲如何使用json庫，文章內容豐富且以專業的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

實際應用中爬取到的信息肯定是需要保存到本地的。保存信息的方式有數據庫和文件的形式，數據庫我們后面再講，現在讓我們先看看怎么把信息保存到文件里。

這里我們主要講講 將數據保存為 json格式和 csv格式，這就要用到兩個庫 json庫和 csv庫，這兩個庫都是 python自帶的庫。

關于數據存儲我們分兩篇來講，這一篇先講 json，下一篇再講 csv。

一、關于 json

json的簡介直接引用百度百科的定義：

JSON(JavaScript Object Notation, JS 對象簡譜) 是一種輕量級的數據交換格式。它基于 ECMAScript (歐洲計算機協會制定的js規范)的一個子集，采用完全獨立于編程語言的文本格式來存儲和表示數據。簡潔和清晰的層次結構使得 JSON 成為理想的數據交換語言。 易于人閱讀和編寫，同時也易于機器解析和生成，并有效地提升網絡傳輸效率。

實際上 json的格式和 python中的字典很像，也是由鍵值對組成，但是 python中的值可以為任何對象（列表、字典、字符串、數字等等），而 json中的值只能是數組（列表）、字典、字符串、數組、布爾值中的一中或幾種。

其格式就像下面這樣：

注意：json中的引號必須是雙引號，否則會報錯

{
    "key1": "value1",
    "key2": [1,2,"value2"],
    "key3": 
    {
        "key31": "value1",
        "key32": [1,2,"value2"],
        "key33": true,
    },
}

二、json庫的使用

json庫一共有三個方法，分別是 dump、dumps、load、loads。

其中 dump和 dumps是用來把把字典和數組轉換為 json格式的，dump把轉換結果直接寫入文件，dumps返回字符串。

load和 loads是把 json格式的數據轉換為字典格式，load直接從 json文件中讀取數據并返回字典對象，loads把字符串形式的 json數據轉換成字典格式。

下面講講這些方法的具體用法。

1、dump和 dumps

dump的函數原型是 dump(obj, fp) 第一個參數 obj是要轉換的對象，第二個參數 fp是要寫入數據的文件對象。

dumps的函數原型是 dumps(obj) 參數是要轉換的對象

注意：如果要轉換的對象里有中文字符的話，要把 ensure_ascii設置為 False否則中文會被編碼為 ascii格式

#-*- coding: utf-8 -*
import json


test = {
    "key1": "value1",
    "key2": [1,2,"value2"],
    "key3":
    {
        "key31": "value1",
        "key32": [1,2,"value2"],
        "key33": True,
        "key34": "測試",
    },
}

#沒有設置 ensure_ascii為 False
with open('test.json', 'w', encoding='utf-8') as fp:
    json.dump(test, fp)
#設置了 ensure_ascii為 False
with open('test_no_ascii.json', 'w', encoding='utf-8') as fp:
    json.dump(test, fp, ensure_ascii=False)

#test.json的文件內容為：
#{... ... "key33": true, "key34": "\u6d4b\u8bd5"}}
#test_no_ascii.json的文件內容為：
#{... ... "key33": true, "key34": "測試"}}
#注意到 python中的 True轉換成了 Javascript里的 true
#另外在打開文件的時候強烈建議用 encoding指定文件編碼
#還需要注意文件的打開模式 w是寫入，文件已存在的話就覆蓋
#要追加寫入的話記得用 a模式打開

test_string = json.dumps(test, ensure_ascii=False)
print(test_string)

2、load和 loads

load的函數原型是 load(fp) 參數 fp是要讀取的文件對象

loads的函數原型是 loads(string) 參數 string是要轉換成 python對象的 json字符串，通常用來將網頁中的 json數據轉換為 python對象

#-*- coding: utf-8 -*
import json


#json格式的字符串
test_string = '{"key1": "value1", "key2": [1, 2, "value2"], "key3": {"key31": "value1", "key32": [1, 2, "value2"], 
"key33": true, "key34": "測試"}}'

#從之前保存的 test_no_ascii.json中讀取 注意模式為 r
with open('test_no_ascii.json', 'r', encoding='utf-8') as fp:
    json_obj_from_file = json.load(fp)

json_obj_from_web = json.loads(test_string)

#打印兩個返回結果的類型
print(type(json_obj_from_file))
print(type(json_obj_from_web))
#打印兩個返回結果的內容
print(json_obj_from_file)
print(json_obj_from_web)

上述就是小編為大家分享的python爬蟲如何使用json庫了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關知識，歡迎關注億速云行業資訊頻道。