小編給大家分享一下Python如何實現數據清洗,希望大家閱讀完這篇文章之后都有所收獲,下面讓我們一起去探討吧!
在下面的代碼片段中,數據清洗代碼被封裝在了一些函數中,代碼的目的十分直觀。你可以直接使用這些代碼,無需將它們嵌入到需要進行少量參數修改的函數中。
def drop_multiple_col(col_names_list, df): ''' AIM -> Drop multiple columns based on their column names INPUT -> List of column names, df OUTPUT -> updated df with dropped columns ------ ''' df.drop(col_names_list, axis=1, inplace=True) return df
有時,并不是所有列的數據都對我們的數據分析工作有用。因此,「df.drop」可以方便地刪掉你選定的列。
def change_dtypes(col_int, col_float, df): ''' AIM -> Changing dtypes to save memory INPUT -> List of column names (int, float), df OUTPUT -> updated df with smaller memory ------ ''' df[col_int] = df[col_int].astype('int32') df[col_float] = df[col_float].astype('float32')
當我們面對更大的數據集時,我們需要對「dtypes」進行轉換,從而節省內存。如果你有興趣學習如何使用「Pandas」來處理大數據,我強烈推薦你閱讀「Why and How to Use Pandas with Large Data」這篇文章(https://towardsdatascience.com/why-and-how-to-use-pandas-with-large-data-9594dda2ea4c)。
def convert_cat2num(df): # Convert categorical variable to numerical variable num_encode = {'col_1' : {'YES':1, 'NO':0}, 'col_2' : {'WON':1, 'LOSE':0, 'DRAW':0}} df.replace(num_encode, inplace=True)
有一些機器學習模型要求變量是以數值形式存在的。這時,我們就需要將分類變量轉換成數值變量然后再將它們作為模型的輸入。對于數據可視化任務來說,我建議大家保留分類變量,從而讓可視化結果有更明確的解釋,便于理解。
def check_missing_data(df): # check for any missing data in the df (display in descending order) return df.isnull().sum().sort_values(ascending=False)
如果你想要檢查每一列中有多少缺失的數據,這可能是最快的方法。這種方法可以讓你更清楚地知道哪些列有更多的缺失數據,幫助你決定接下來在數據清洗和數據分析工作中應該采取怎樣的行動。
def remove_col_str(df): # remove a portion of string in a dataframe column - col_1 df['col_1'].replace('\n', '', regex=True, inplace=True) # remove all the characters after &# (including &#) for column - col_1 df['col_1'].replace(' &#.*', '', regex=True, inplace=True)
有時你可能會看到一行新的字符,或在字符串列中看到一些奇怪的符號。你可以很容易地使用 df[‘col_1’].replace 來處理該問題,其中「col_1」是數據幀 df 中的一列。
def remove_col_white_space(df): # remove white space at the beginning of string df[col] = df[col].str.lstrip()
當數據十分混亂時,很多意想不到的情況都會發生。在字符串的開頭有一些空格是很常見的。因此,當你想要刪除列中字符串開頭的空格時,這種方法很實用。
def concat_col_str_condition(df): # concat 2 columns with strings if the last 3 letters of the first column are 'pil' mask = df['col_1'].str.endswith('pil', na=False) col_new = df[mask]['col_1'] + df[mask]['col_2'] col_new.replace('pil', ' ', regex=True, inplace=True) # replace the 'pil' with emtpy space
當你希望在一定條件下將兩列字符串數據組合在一起時,這種方法很有用。例如,你希望當第一列以某些特定的字母結尾時,將第一列和第二列數據拼接在一起。根據你的需要,還可以在拼接工作完成后將結尾的字母刪除掉。
def convert_str_datetime(df): ''' AIM -> Convert datetime(String) to datetime(format we want) INPUT -> df OUTPUT -> updated df with new datetime format ------ ''' df.insert(loc=2, column='timestamp', value=pd.to_datetime(df.transdate, format='%Y-%m-%d %H:%M:%S.%f'))
在處理時間序列數據時,你可能會遇到字符串格式的時間戳列。這意味著我們可能不得不將字符串格式的數據轉換為根據我們的需求指定的日期「datetime」格式,以便使用這些數據進行有意義的分析和展示。
看完了這篇文章,相信你對“Python如何實現數據清洗”有了一定的了解,如果想了解更多相關知識,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。