【深度学习实验】图像处理（三）：PIL——自定义图像数据增强操作（随机遮挡、擦除、线性混合）

一、实验介绍

  在深度学习任务中，数据增强是提高模型泛化能力的关键步骤之一。通过对训练集进行变换和扩充，可以有效地增加数据量，引入样本之间的差异，使模型更好地适应不同的输入。
  本实验将实现自定义图像数据增强操作，具体包括 Cutout（遮挡）、Random Erasing（随机擦除）和 Mixup（混合）。

二、实验环境

1. 配置虚拟环境

conda create -n Image python=3.9 

conda activate Image

conda install pillow numpy

2. 库版本介绍

三、实验内容

0. 导入必要的库

import numpy as np
from PIL import Image
import random

1. PIL基础操作

【深度学习实验】图像处理（一）：Python Imaging Library（PIL）库：图像读取、写入、复制、粘贴、几何变换、图像增强、图像滤波
【深度学习实验】图像处理（二）：PIL 和 PyTorch（transforms）中的图像处理与随机图片增强

2. Cutout（遮挡）

2.1 原理

  Cutout 操作是在图像上随机选择一个或多个方形区域，并将这些区域的像素值设置为零，达到遮挡的效果。该操作有助于模型对于部分区域的缺失具有鲁棒性，使得模型更加关注图像的其他部分。

2.2 实现

class Cutout(object):
    def __init__(self, n_holes, length):
        self.n_holes = n_holes
        self.length = length

    def __call__(self, img):
        h, w, c = img.shape
        mask = np.ones((h, w), np.float32)

        for _ in range(self.n_holes):
            y = np.random.randint(h)
            x = np.random.randint(w)

            y1 = np.clip(y - self.length // 2, 0, h)
            y2 = np.clip(y + self.length // 2, 0, h)
            x1 = np.clip(x - self.length // 2, 0, w)
            x2 = np.clip(x + self.length // 2, 0, w)

            mask[y1: y2, x1: x2] = 0.

        mask = np.expand_dims(mask, axis=2)
        mask = np.repeat(mask, c, axis=2)
        img = img * mask

        return img

• 初始化参数:
  • n_holes (int): 每个图像要遮挡的区域数量。
  • length (int): 每个正方形区域的边长（以像素为单位）。
• call
  • 参数:
    • img: 大小为 (h, w, c) 的图像数组。
  • 返回
    • 从图像中剪切出 n_holes 个边长为 length 的正方形区域后的图像。

2.3 效果展示

img = Image.open('example.jpg').convert('RGB')

# 转换为 NumPy 数组
img = np.array(img)

# 创建 Cutout 实例
cutout = Cutout(3, 64)

# 应用 Cutout 操作
img_cut = cutout(img)

# 将 NumPy 数组转换回 PIL 图像
img_result = Image.fromarray(img_cutout.astype('uint8')).convert('RGB')

# 保存图像
img_result.save('./cutout_image.jpg')

3. Random Erasing（随机擦除）

3.1 原理

  Random Erasing 操作随机选择图像中的一个矩形区域，并将该区域的像素值擦除，用随机值替代。该操作模拟了在现实场景中图像可能被部分遮挡或损坏的情况，从而提高了模型对于不完整图像的适应能力。

3.2 实现

class RandomErasing(object):
    def __init__(self, region_w, region_h):
        self.region_w = region_w
        self.region_h = region_h

    def __call__(self, img):
        if self.region_w < img.shape[1] and self.region_h < img.shape[0]:
            x1 = random.randint(0, img.shape[1] - self.region_w)
            y1 = random.randint(0, img.shape[0] - self.region_h)

            img[y1:y1+self.region_h, x1:x1+self.region_w, 0] = np.random.randint(0, 255, size=(self.region_h, self.region_w))
            img[y1:y1+self.region_h, x1:x1+self.region_w, 1] = np.random.randint(0, 255, size=(self.region_h, self.region_w))
            img[y1:y1+self.region_h, x1:x1+self.region_w, 2] = np.random.randint(0, 255, size=(self.region_h, self.region_w))

        return img

• 初始化:
  • region_w: 擦除区域的宽度
  • region_h: 擦除区域的高度
• call
  • 参数:
    • img: 大小为 (h, w, c) 的图像数组
  • 检查擦除区域的宽度和高度是否小于图像的宽度和高度
    • 随机选择擦除区域的左上角坐标 $(x_1,y_1)$
    • 生成随机像素值并将其应用于图像的擦除区域
  • 返回
    • 随机擦除后的图像

3.3 效果展示

img = Image.open('example.jpg').convert('RGB')
img = np.array(img)

# 创建 Random Erasing 实例
random_erasing = RandomErasing(region_w=150, region_h=200)

# 应用 Random Erasing 操作
img_erasing = random_erasing(img)

img_result = Image.fromarray(img_erasing.astype('uint8')).convert('RGB')
img_result.save('./erasing_image.jpg')

4. Mixup（混合）

4.1 原理

  Mixup选择两张图像，按照一定的比例进行线性混合，得到一张新的图像。通过引入样本之间的混合，增加了训练集的多样性，有助于模型更好地适应不同的输入。

4.2 实现

class Mixup(object):
    def __init__(self, alpha):
        self.alpha = alpha
        self.lam = np.random.beta(self.alpha, self.alpha)

    def __call__(self, img1, img2):
        img = self.lam * img1 + (1 - self.lam) * img2
        return img

• 初始化参数:
  • alpha: 混合参数
  • lam: 使用 Beta 分布生成一个随机值
• call
  • 参数:
    • img1、img2: 大小为 (h, w, c) 的图像数组。
  • 使用混合比例将两个图像进行线性混合

4.3 效果展示

  将 Mixup 操作应用于下述两张图像

# 读取两张图像
img1 = Image.open('example2.jpg').convert('RGB')
img2 = Image.open('example3.jpg').convert('RGB')

# 调整图像大小
img1 = img1.resize((1920, 1080), Image.Resampling.BICUBIC)
img2 = img2.resize((1920, 1080), Image.Resampling.BICUBIC)

# 转换为 NumPy 数组
img1 = np.array(img1)
img2 = np.array(img2)

# 创建 Mixup 实例
mixup = Mixup(0.6)

# 应用 Mixup 操作
img_mixup = mixup(img1, img2)

# 将 NumPy 数组转换回 PIL 图像
img_result = Image.fromarray(img_mixup.astype('uint8')).convert('RGB')

# 保存图像
img_result.save('./mixup_image.jpg')

代码007普通

打赏 收藏 海报 链接