如何在JSON爬蟲中實現數據的導入

在JSON爬蟲中實現數據導入的方法有很多種，這里我將向您介紹兩種常見的方法：將數據保存到數據庫和將數據保存到文件

1. 將數據保存到數據庫：

要將JSON數據導入到數據庫，您需要首先創建一個數據庫表，然后使用Python的數據庫庫（如SQLite3、MySQLdb或pymysql）將數據插入到表中。以下是一個使用SQLite3將JSON數據導入到數據庫的示例：

首先，安裝SQLite3庫（如果尚未安裝）：

pip install sqlite3

然后，創建一個名為import_json.py的Python腳本，并添加以下代碼：

import json
import sqlite3

# JSON數據
json_data = '''
[
    {"name": "Alice", "age": 30, "city": "New York"},
    {"name": "Bob", "age": 25, "city": "San Francisco"}
]
'''

# 將JSON數據解析為Python對象
data = json.loads(json_data)

# 連接到SQLite數據庫（如果不存在，將創建一個新文件）
conn = sqlite3.connect('example.db')
cursor = conn.cursor()

# 創建一個名為'users'的表
cursor.execute('''
CREATE TABLE IF NOT EXISTS users (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    name TEXT NOT NULL,
    age INTEGER NOT NULL,
    city TEXT NOT NULL
)
''')

# 將數據插入到表中
for item in data:
    cursor.execute("INSERT INTO users (name, age, city) VALUES (?, ?, ?)",
                   (item['name'], item['age'], item['city']))

# 提交更改并關閉連接
conn.commit()
cursor.close()
conn.close()

運行此腳本后，JSON數據將被導入到名為example.db的SQLite數據庫中。

2. 將數據保存到文件：

如果您不想將數據導入到數據庫，而是想將其保存到文件中，可以使用Python的內置json庫。以下是一個將JSON數據保存到名為output.json的文件的示例：

import json

# JSON數據
data = [
    {"name": "Alice", "age": 30, "city": "New York"},
    {"name": "Bob", "age": 25, "city": "San Francisco"}
]

# 將Python對象轉換為JSON字符串并保存到文件
with open('output.json', 'w') as f:
    json.dump(data, f, ensure_ascii=False, indent=4)

運行此腳本后，JSON數據將被保存到名為output.json的文件中。