YoloV5 训练长方形图像

20230329更新

官方的源代码中，训练的时候将rect开启，即可进行长方形训练同时也会进一步降低训练时的显存。

Imagesz只需要设置图像最大尺寸即可，在dataload中，读取图像时候会进行判断处理，

在load_image过程中，会将图像等比例缩放

比如原图为1280*640。

输入的imagesize为1280的话，则读取的图像为1280*640，

输入的imagesize为640的话，则读取的图像为640*320

但是需要注意开始Rect后 不会再对图像进行mosaic的增强，如果实在需要的话可以参考原来的长方形训练（下面的文章进行更改）

长方形图像训练：

Step1: 修改训练图片的尺寸，因为默认尺寸是是对训练集和验证集的。所以此处进行修改长方形时，需要分别赋值构建一个数组。

Step2:Train.py中修改对图像尺寸检查的功能。

Step3: Train.py中修改模型属性功能。原来640 是int类型，现在【640,320】是一个数组。所以需要进行修改。

Step4: 对LoadImageAndLabels中的代码进行修改

修改mosic功能

修改Load_image功能

修改load_mosaic功能

修改mosaic拼接功能以及label拼接的功能。

注意看if isinstance 做判断的位置，都会进行修改。

    def load_mosaic(self, index):
        # YOLOv5 4-mosaic loader. Loads 1 image + 3 random images into a 4-image mosaic
        labels4, segments4 = [], []
        if isinstance(self.img_size, int):
            s = self.img_size
            yc, xc = (int(random.uniform(-x, 2 * s + x)) for x in self.mosaic_border)  # mosaic center x, y
        else:
            s_h, s_w = self.img_size  # (h,w)
            yc, xc = [int(random.uniform(-x, 2 * s + x)) for x, s in zip(self.mosaic_border, self.img_size)]
        indices = [index] + random.choices(self.indices, k=3)  # 3 additional image indices
        random.shuffle(indices)
        for i, index in enumerate(indices):
            # Load image
            img, _, (h, w) = self.load_image(index)
            if isinstance(self.img_size, int):
                # place img in img4
                if i == 0:  # top left
                    img4 = np.full((s * 2, s * 2, img.shape[2]), 114, dtype=np.uint8)  # base image with 4 tiles
                    x1a, y1a, x2a, y2a = max(xc - w, 0), max(yc - h, 0), xc, yc  # xmin, ymin, xmax, ymax (large image)
                    x1b, y1b, x2b, y2b = w - (x2a - x1a), h - (y2a - y1a), w, h  # xmin, ymin, xmax, ymax (small image)
                elif i == 1:  # top right
                    x1a, y1a, x2a, y2a = xc, max(yc - h, 0), min(xc + w, s * 2), yc
                    x1b, y1b, x2b, y2b = 0, h - (y2a - y1a), min(w, x2a - x1a), h
                elif i == 2:  # bottom left
                    x1a, y1a, x2a, y2a = max(xc - w, 0), yc, xc, min(s * 2, yc + h)
                    x1b, y1b, x2b, y2b = w - (x2a - x1a), 0, w, min(y2a - y1a, h)
                elif i == 3:  # bottom right
                    x1a, y1a, x2a, y2a = xc, yc, min(xc + w, s * 2), min(s * 2, yc + h)
                    x1b, y1b, x2b, y2b = 0, 0, min(w, x2a - x1a), min(y2a - y1a, h)
            else:
                if i == 0:  # top left
                    img4 = np.full((s_h * 2, s_w * 2, img.shape[2]), 114, dtype=np.uint8)  # base image with 4 tiles
                    x1a, y1a, x2a, y2a = max(xc - w, 0), max(yc - h, 0), xc, yc  # xmin, ymin, xmax, ymax (large image)
                    x1b, y1b, x2b, y2b = w - (x2a - x1a), h - (y2a - y1a), w, h  # xmin, ymin, xmax, ymax (small image)
                elif i == 1:  # top right
                    x1a, y1a, x2a, y2a = xc, max(yc - h, 0), min(xc + w, s_w * 2), yc
                    x1b, y1b, x2b, y2b = 0, h - (y2a - y1a), min(w, x2a - x1a), h
                elif i == 2:  # bottom left
                    x1a, y1a, x2a, y2a = max(xc - w, 0), yc, xc, min(s_h * 2, yc + h)
                    x1b, y1b, x2b, y2b = w - (x2a - x1a), 0, w, min(y2a - y1a, h)
                elif i == 3:  # bottom right
                    x1a, y1a, x2a, y2a = xc, yc, min(xc + w, s_w * 2), min(s_h * 2, yc + h)
                    x1b, y1b, x2b, y2b = 0, 0, min(w, x2a - x1a), min(y2a - y1a, h)

            img4[y1a:y2a, x1a:x2a] = img[y1b:y2b, x1b:x2b]  # img4[ymin:ymax, xmin:xmax]
            padw = x1a - x1b
            padh = y1a - y1b

            # Labels
            labels, segments = self.labels[index].copy(), self.segments[index].copy()
            if labels.size:
                labels[:, 1:] = xywhn2xyxy(labels[:, 1:], w, h, padw, padh)  # normalized xywh to pixel xyxy format
                segments = [xyn2xy(x, w, h, padw, padh) for x in segments]
            labels4.append(labels)
            segments4.extend(segments)

至此就完成了程序上的修改

附mosaic增强

    mosaic拼接并不是将图片进行4等份拼接。

1：会随机设定中心点，然后这个中心点将数据分为4份，然后将图片填充到每一份中。

马赛克的中心点值，随机从-x ---2*s+x 中随机抽选，一般X的值为-320，所以就变成 了 320- -960中随机抽选中心值。

Step0: 初始化整幅图，将图片的像素都填充为114

Step1：读取当前要填充的图片，并获取图片的长和宽

Step2: 计算当前图片在大图中的位置 ，如果当前图片超过大图界限，越界部分就取消掉。

同时如果当前图片过小，填充不了大图给定的区域位置。

不管大图小图都要计算其在整幅图片中的位置，计算差异值，因为接下来要取更新标签（label）

（标签是相对于图片的位置的，如果当前图片放入大图中，没有完全占据左上角，那么不就多余

了部分空的区域了吗直接计算标签的话肯定偏移，所以要去除掉这些空的区域再取加载原来的图片的标签并且更新）

如果有label正好在边界上，就要修正或者裁剪掉超过边界的框

Step3: 连续放入图片

Step4: 对放入的图片进行随机的旋转，翻转 ，平移 缩放等等操作。