小編這次要給大家分享的是python中如何刪除離群值，文章內容豐富，感興趣的小伙伴可以來了解一下，希望大家閱讀完這篇文章之后能夠有所收獲。
刪除有多行字符串的json文件中的離群值
def processHold(eachsubject,directory,newfile):
filename = 'CMUDataCol/Hold/subject{0}.json'.format(eachsubject) # 原文件
with open(filename, 'r') as f:
for jsonstr in f.readlines(): # 按行讀取原文件
# 這里的情況是每一行為一類數值，該行內的數據相互比較找出是否有離群值
# 若存在離群值，則刪除該行數據
data = json.loads(jsonstr)
#計算四分位點
a = numpy.array(data)
q1 = numpy.percentile(a, 25)
q3 = numpy.percentile(a, 75)
iqr = q3 - q1
# 找出異常值
i = 0
for item in zip(data):
# 在正常值范圍內時 i+1
if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr):
i = i + 1
if i == 10:
# 這里是因為我的json文件中每行data有10個元素（如果有更好的方法，請教我一下，謝謝您?。?
HoldTime = data
with open(newfile, 'a') as f: # 將非離群數據存入新文件
json.dump(HoldTime, f)
f.write('\n') 補充知識：dataframe 離群值處理
離群值：遠離數據主要部分的樣本（極大值或極小值）
處理方式：
刪除：直接刪除離群樣本
填充樣本：使用box-plot定義變量的數值上下界，以上界填充極大值，以下界填充最小值
# 查看房價的離群情況 df['average_price'].hist() plt.show() df[['average_price']].boxplot() plt.show()
def boxplot_fill(col): # 計算iqr：數據四分之三分位值與四分之一分位值的差 iqr = col.quantile(0.75)-col.quantile(0.25) # 根據iqr計算異常值判斷閾值 u_th = col.quantile(0.75) + 1.5*iqr # 上界 l_th = col.quantile(0.25) - 1.5*iqr # 下界 # 定義轉換函數：如果數字大于上界則用上界值填充，小于下界則用下界值填充。 def box_trans(x): if x > u_th: return u_th elif x < l_th: return l_th else: return x return col.map(box_trans) # 填充效果查看 boxplot_fill(df['average_price']).hist() # 進行賦值 df['average_price'] = boxplot_fill(df['average_price']) plt.show()
看完這篇關于python中如何刪除離群值的文章，如果覺得文章內容寫得不錯的話，可以把它分享出去給更多人看到。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
