python怎么實現MD5進行文件去重

這篇文章主要介紹“python怎么實現MD5進行文件去重”，在日常操作中，相信很多人在python怎么實現MD5進行文件去重問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”python怎么實現MD5進行文件去重”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

工作原理

腳本會檢查你給出的文件路徑下的所有文件，然后計算每個文件的MD5值，并將其加入到一個列表中。

• 如果某文件的MD5值不在列表中，就認定其是我們需要的文件，腳本會在桌面新建一個名為“去重結果”的文件夾，并將其復制到里面去。

• 如果某文件的MD5值在列表中，就認定其不是我們需要的文件，不對其做任何處理。

• 代碼可以直接運行，無需做任何修改（除了安裝可能缺少的庫文件）

代碼

import os
import shutil
import hashlib


# 對文件去重
# 計算每個文件的md5值，據此進行去重
def only_one(test_path):
    md5_list = []
    count = 0
    for current_folder, list_folders, files in os.walk(test_path):
        for file in files:
            file_path = current_folder + '\\' + file  # 獲取每個文件的路徑
            f = open(file_path, 'rb')  # 開始計算每個文件的md5值
            md5obj = hashlib.md5()
            md5obj.update(f.read())
            get_hash = md5obj.hexdigest()
            f.close()
            md5_value = str(get_hash).upper()
            # 開始去重
            if md5_value in md5_list:  # 如果這個文件的md5值曾經出現過，就不對它做任何處理
                count += 1
                print('\033[31m[-] 發現重復文件：\033[0m' + str(file))
            else:
                md5_list.append(md5_value)  # 如果這個文件的md5值不存在列表中，就添加進列表中
                shutil.copy(file_path, path2)
    print('\033[31m[-] 共發現重復文件：{}個\033[0m'.format(count))


if __name__ == '__main__':
    print('\033[4;33m[+] 此腳本會檢查指定路徑下的所有文件，通過計算文件的MD5值進行去重\033[0m')
    print('\033[4;33m[+] 去重后的文件會復制到桌面新文件夾中，源文件不會丟失\033[0m')
    path = input('\033[34m[+] 請輸入文件夾地址：\033[0m')
    os.chdir(path)

    # path2 用來存放所有的去重結果
    desktop_path = os.path.join(os.path.expanduser("~"), 'Desktop')  # 獲取桌面路徑
    path2 = os.path.join(desktop_path, '去重結果')
    os.makedirs(path2)

    only_one(path)
    print('\033[32m[-] 現有非重復文件共計：{}個\033[0m'.format(len(os.listdir(path2))))

到此，關于“python怎么實現MD5進行文件去重”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續學習更多相關知識，請繼續關注億速云網站，小編會繼續努力為大家帶來更多實用的文章！