今天就跟大家聊聊有關python實現按照list中字典的某key去重,可能很多人都不太了解,為了讓大家更加了解,小編給大家總結了以下內容,希望大家根據這篇文章可以有所收獲。
一、需求說明
當我們寫爬蟲的時候,經常會遇到json格式的數據,它通常是如下結構:
data = [{'name':'小K','score':100}, {'name':'小J','score':98}, {'name':'小Q','score':95}, {'name':'小K','score':100}]
很顯然名字為小K的數據重復了,我們需要進行去重。通常對于list的去重,我們可以用set()函數,即:
data = list(set(data))
然而,運行之后你會發現它報錯了:
list里的數據不能是dict類型,那么該怎么辦呢?
二、我的解決方案
定義一個去重的函數即可,根據里面的某個key,對數據進行篩選去重:
def DelRepeat(data,key): new_data = [] # 用于存儲去重后的list values = [] # 用于存儲當前已有的值 for d in data: if d[key] not in values: new_data.append(d) values.append(d[key]) return new_data
參數data為需要去重的list,key為去重的?。窗凑漳膫€key來去重),去重后結果為:
[{'name': '小K', 'score': 100},
{'name': '小J', 'score': 98},
{'name': '小Q', 'score': 95}]
看完上述內容,你們對python實現按照list中字典的某key去重有進一步的了解嗎?如果還想了解更多知識或者相關內容,請關注億速云行業資訊頻道,感謝大家的支持。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。