這篇文章主要講解了“Python基于域相關實現圖像增強的方法是什么”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Python基于域相關實現圖像增強的方法是什么”吧！
當在圖像上訓練深度神經網絡模型時，通過對由數據增強生成的更多圖像進行訓練，可以使模型更好地泛化。常用的增強包括水平和垂直翻轉/移位、以一定角度和方向（順時針/逆時針）隨機旋轉、亮度、飽和度、對比度和縮放增強。
Python中一個非常流行的圖像增強庫是albumentations，通過直觀的函數和優秀的文檔，可以輕松地增強圖像。它也可以與PyTorch和TensorFlow等流行的深度學習框架一起使用。
域相關的數據增強
直覺
背后的想法來自于在現實中可能遇到的圖像。例如，像雪或雨滴這樣的增強是不應該在x射線圖像中發現的增強，但胸管和起搏器是可以在x射線圖像中發現的增強。
這個想法從何而來
改變了Roman (@ nroman on Kaggle)為SIIM-ISIC黑色素瘤分類比賽做增強的方法。 增強的一個片段如下所示：
原始圖像（左上方）和頭發增強圖像（右上方）
此文確實在我們的模型訓練中使用了他的增強函數，這有助于提高我們大多數模型的交叉驗證（CV）分數。
想說的是，這種形式的增強可能在我們的最終排名中發揮了關鍵作用！從那時起，使用頭發（或一般的人工制品）來增強圖像數據的想法在我參加的后續比賽中非常接近，并盡可能地加以應用。
特別是，該方法被推廣并應用于全球小麥檢測、木薯葉病分類挑戰賽。
正如標題所示，這種方法包括用昆蟲增強圖像。這可以是數據中的一種自然設置，因為昆蟲通常在空中或地面上被發現。
在本例中，在木薯和全球小麥檢測競賽中，蜜蜂被用作增強葉片圖像時的首選昆蟲。以下是增強圖像的外觀示例：
蜜蜂在葉子周圍飛翔的增強圖像
我們還可以使用掩碼形式，導致圖像中出現黑點（類似于相冊中的脫落），即沒有顏色和黑色的蜜蜂：
增強圖像，黑色/黑色蜜蜂圍繞樹葉飛行
以下以Albumentations風格編寫的代碼允許增強函數與來自Albumentations庫的其他增強函數一起輕松使用:
from albumentations.core.transforms_interface import ImageOnlyTransform class InsectAugmentation(ImageOnlyTransform): """ 將昆蟲的圖像強加到目標圖像上 ----------------------------------------------- 參數: insects (int): 昆蟲的最大數量 insects_folder (str): 昆蟲圖片文件夾的路徑 """ def __init__(self, insects=2, dark_insect=False, always_apply=False, p=0.5): super().__init__(always_apply, p) self.insects = insects self.dark_insect = dark_insect self.insects_folder = "/kaggle/input/bee-augmentation/" def apply(self, image, **kwargs): """ 參數: image (PIL Image): 畫昆蟲的圖像。 Returns: PIL Image: 帶昆蟲的圖像。 """ n_insects = random.randint(1, self.insects) # 在這個例子中，我用1而不是0來說明增強效果 if not n_insects: return image height, width, _ = image.shape # 目標圖像的寬度和高度 insects_images = [im for im in os.listdir(self.insects_folder) if 'png' in im] for _ in range(n_insects): insect = cv2.cvtColor(cv2.imread(os.path.join(self.insects_folder, random.choice(insects_images))), cv2.COLOR_BGR2RGB) insect = cv2.flip(insect, random.choice([-1, 0, 1])) insect = cv2.rotate(insect, random.choice([0, 1, 2])) h_height, h_width, _ = insect.shape # 昆蟲圖像的寬度和高度 roi_ho = random.randint(0, image.shape[0] - insect.shape[0]) roi_wo = random.randint(0, image.shape[1] - insect.shape[1]) roi = image[roi_ho:roi_ho + h_height, roi_wo:roi_wo + h_width] # 創建掩碼和反掩碼 img2gray = cv2.cvtColor(insect, cv2.COLOR_BGR2GRAY) ret, mask = cv2.threshold(img2gray, 10, 255, cv2.THRESH_BINARY) mask_inv = cv2.bitwise_not(mask) # 現在黑掉的區域是昆蟲 img_bg = cv2.bitwise_and(roi, roi, mask=mask_inv) # 從昆蟲圖像中只選取昆蟲區域。 if self.dark_insect: img_bg = cv2.bitwise_and(roi, roi, mask=mask_inv) insect_fg = cv2.bitwise_and(img_bg, img_bg, mask=mask) else: insect_fg = cv2.bitwise_and(insect, insect, mask=mask) # 添加 dst = cv2.add(img_bg, insect_fg, dtype=cv2.CV_64F) image[roi_ho:roi_ho + h_height, roi_wo:roi_wo + h_width] = dst return image
如果你希望使用黑色版本，請將dark_insect設置為True。
在這種方法中，使用針來增強圖像，例如可以是x射線圖像。以下是增強圖像的外觀示例：
x光片左側帶針頭的增強圖像
類似地，我們可以使用黑色版本的針，從而生成以下增強圖像：
x射線兩側帶有黑色/黑色針頭的增強圖像
作為上述擴展模塊的代碼片段如下所示：
def NeedleAugmentation(image, n_needles=2, dark_needles=False, p=0.5, needle_folder='../input/xray-needle-augmentation'): aug_prob = random.random() if aug_prob < p: height, width, _ = image.shape # 目標圖像的寬度和高度 needle_images = [im for im in os.listdir(needle_folder) if 'png' in im] for _ in range(1, n_needles): needle = cv2.cvtColor(cv2.imread(os.path.join(needle_folder, random.choice(needle_images))), cv2.COLOR_BGR2RGB) needle = cv2.flip(needle, random.choice([-1, 0, 1])) needle = cv2.rotate(needle, random.choice([0, 1, 2])) h_height, h_width, _ = needle.shape # 針圖像的寬度和高度 roi_ho = random.randint(0, abs(image.shape[0] - needle.shape[0])) roi_wo = random.randint(0, abs(image.shape[1] - needle.shape[1])) roi = image[roi_ho:roi_ho + h_height, roi_wo:roi_wo + h_width] # 創建掩碼和反掩碼 img2gray = cv2.cvtColor(needle, cv2.COLOR_BGR2GRAY) ret, mask = cv2.threshold(img2gray, 10, 255, cv2.THRESH_BINARY) mask_inv = cv2.bitwise_not(mask) # 現在黑掉的區域是針 img_bg = cv2.bitwise_and(roi, roi, mask=mask_inv) # 只選取針區域。 if dark_needles: img_bg = cv2.bitwise_and(roi, roi, mask=mask_inv) needle_fg = cv2.bitwise_and(img_bg, img_bg, mask=mask) else: needle_fg = cv2.bitwise_and(needle, needle, mask=mask) # 添加 dst = cv2.add(img_bg, needle_fg, dtype=cv2.CV_64F) image[roi_ho:roi_ho + h_height, roi_wo:roi_wo + h_width] = dst return image
請注意，以上內容不是Albumentations格式，不能直接應用于常規Albumentations增強。必須進行一些調整，使其與上述昆蟲/蜜蜂增強中的格式相同。但變化應該很??！
同樣，如果你希望使用黑色版本，請將dark_Piners設置為True。
總的來說，局部CV結果有所改善，大部分略有改善（如0.001–0.003）。但在某些情況下，使用這種增強方法在訓練過程中“失敗”。
例如，在全球小麥檢測競賽中，任務涉及檢測小麥頭部，即目標檢測任務。盡管進行了大量的超參數調整，但使用原始蜜蜂的蜜蜂增強導致訓練驗證損失波動很大。
雖然使用增強器確實提高了CV，但可以說這確實是一個幸運的機會。使用僅保留黑色像素的增強被證明在應用程序的各個領域是穩定的。特別是，CV的提升是實質性的，也是一致的。
到目前為止，尚未找到蜜蜂數量增加導致不同epoch之間出現這種訓練結果的原因，但有一種假設是蜜蜂的顏色接近某些麥頭，因此“混淆”了檢測算法，該算法隨后在同一邊界框內捕獲麥頭和最近的蜜蜂。
在一些邊界框預測中觀察到了這一點，但沒有足夠的觀察案例可以肯定地說這一假設是正確的。在任何情況下，還應該考慮圖像屬性（顏色）是否具有接近目標（例如小麥頭）的分布。
另一方面，使用針的增強被證明（原始及其黑色/黑色版本）都相對穩定。在該示例中，預測的目標雖然在顏色分布上相似，但可能具有明顯的特征（例如，胸管看起來與針頭大不相同），因此分類算法不會混淆針頭是否是正確的目標。
感謝各位的閱讀，以上就是“Python基于域相關實現圖像增強的方法是什么”的內容了，經過本文的學習后，相信大家對Python基于域相關實現圖像增強的方法是什么這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
