YOLO V5 改进详解

YOLO V5

Backbone

SPPF

SPP 是使用了3个kernel size不一样大的pooling 并行运算。SPPF是将kernel size为5的 pooling 串行运算，这样的运算的效果和SPP相同，但是运算速度加快。因为SPPF减少了重复的运算，每一次的pooling 运算都是在上一次运算的基础上进行的。

CSP-PAN neck

在YOLO V4中，作者仅仅使用了PAN模块，在PAN中的卷积操作为一般卷积操作。而在YOLO V5中，PAN中的卷积操作换为了CSP。如图，上图为YOLO V4中的PAN模块，下图为YOLO V5的CSP-PAN模块。

YOLO V5 CSP-PAN模块

Loss Function

Loss function 的组成和YOLO V3一样，同样是由

Classes loss

,

Objectness loss

,

Location loss

.
改进：

1. Location Loss 采用的是 CIOU Loss.
2. Objectness Loss 在YOLO V3中 将IOU最大的设为正样本，将IOU小于阈值的设为负样本，其他的都不考虑。而在YOLO V5 中是计算所有样本的obj损失，采用CIOU作为标准。
3. 对于Objectness Loss 同时也平衡了不同尺度的损失，针对三个预测特征层上的obj损失赋予不同的权重。 L o b j = 4.0 ⋅ L o b j s m a l l + 1.0 ⋅ L o b j m e d i u m + 0.4 ⋅ L o b j l a r g e L_{obj} = 4.0 \cdot L^{small}{obj} +1.0 \cdot L^{medium}{obj}+0.4 \cdot L^{large}_{obj} Lobj​=4.0⋅Lobjsmall​+1.0⋅Lobjmedium​+0.4⋅Lobjlarge​

横纵比偏移优化

在YOLO V4对于x, y进行了优化使其对极限值0和1更加敏感一些。然而，对于横纵比同样存在问题，原始的公式中仅使用

      e 
     
    
      x 
     
    
   
  
    e^x 
   
  
ex 来进行偏移，这样会导致偏移量没有限制，变得十分敏感。
  
   
    
     
      
       
        
         
         
           b 
          
         
           w 
          
         
        
          = 
         
         
         
           p 
          
         
           w 
          
         
         
         
           e 
          
          
          
            t 
           
          
            w 
           
          
         
        
       
      
     
     
      
       
        
         
         
           b 
          
         
           h 
          
         
        
          = 
         
         
         
           p 
          
         
           h 
          
         
         
         
           e 
          
          
          
            t 
           
          
            h 
           
          
         
        
       
      
     
    
   
     \begin{aligned} b_w = p_we^{t_w}\\ b_h = p_he^{t_h} \end{aligned} 
    
   
 bw​=pw​etw​bh​=ph​eth​​

而在 YOLO V5中对横纵比的偏移进行了优化，将其变成如下：

           b 
          
         
           x 
          
         
        
          = 
         
        
          2 
         
        
          σ 
         
         
         
           ( 
          
          
          
            t 
           
          
            x 
           
          
         
           ) 
          
         
        
          − 
         
        
          0.5 
         
        
          + 
         
         
         
           c 
          
         
           x 
          
         
        
       
      
     
     
      
       
        
         
         
           b 
          
         
           y 
          
         
        
          = 
         
        
          2 
         
        
          σ 
         
         
         
           ( 
          
          
          
            t 
           
          
            y 
           
          
         
           ) 
          
         
        
          − 
         
        
          0.5 
         
        
          + 
         
         
         
           c 
          
         
           y 
          
         
        
       
      
     
     
      
       
        
         
         
           b 
          
         
           w 
          
         
        
          = 
         
         
         
           p 
          
         
           w 
          
         
         
          
          
            ( 
           
          
            2 
           
          
            σ 
           
           
           
             ( 
            
            
            
              t 
             
            
              w 
             
            
           
             ) 
            
           
          
            ) 
           
          
         
           2 
          
         
        
       
      
     
     
      
       
        
         
         
           b 
          
         
           h 
          
         
        
          = 
         
         
         
           p 
          
         
           h 
          
         
         
          
          
            ( 
           
          
            2 
           
          
            σ 
           
           
           
             ( 
            
            
            
              t 
             
            
              h 
             
            
           
             ) 
            
           
          
            ) 
           
          
         
           2 
          
         
        
       
      
     
    
   
     \begin{array}{c} b_{x}=2 \sigma\left(t_{x}\right)-0.5+c_{x} \\ b_{y}=2 \sigma\left(t_{y}\right)-0.5+c_{y} \\ b_{w}=p_{w}\left(2 \sigma\left(t_{w}\right)\right)^{2} \\ b_{h}=p_{h}\left(2 \sigma\left(t_{h}\right)\right)^{2} \end{array} 
    
   
 bx​=2σ(tx​)−0.5+cx​by​=2σ(ty​)−0.5+cy​bw​=pw​(2σ(tw​))2bh​=ph​(2σ(th​))2​

这在一定程度上限制了横纵比的偏移，YOLO V5作者所做的实验曲线如下。

正负样本选取

在YOLO V4的拓展基础上，YOLO V5 对正样本的选取同时加入了横纵比的限制。

           r 
          
         
           w 
          
         
        
          = 
         
         
         
           w 
          
          
          
            g 
           
          
            t 
           
          
         
        
          / 
         
         
         
           w 
          
          
          
            a 
           
          
            t 
           
          
         
        
       
      
     
     
      
       
        
         
         
           r 
          
         
           h 
          
         
        
          = 
         
         
         
           h 
          
          
          
            g 
           
          
            t 
           
          
         
        
          / 
         
         
         
           h 
          
          
          
            a 
           
          
            t 
           
          
         
        
       
      
     
     
      
       
        
         
         
           r 
          
         
           w 
          
         
           max 
          
         
           ⁡ 
          
         
        
          = 
         
        
          max 
         
        
          ⁡ 
         
         
         
           ( 
          
          
          
            r 
           
          
            w 
           
          
         
           , 
          
         
           1 
          
         
           / 
          
          
          
            r 
           
          
            w 
           
          
         
           ) 
          
         
        
       
      
     
     
      
       
        
         
         
           r 
          
         
           h 
          
         
           max 
          
         
           ⁡ 
          
         
        
          = 
         
        
          max 
         
        
          ⁡ 
         
         
         
           ( 
          
          
          
            r 
           
          
            h 
           
          
         
           , 
          
         
           1 
          
         
           / 
          
          
          
            r 
           
          
            h 
           
          
         
           ) 
          
         
        
       
      
     
     
      
       
        
         
         
           r 
          
         
           max 
          
         
           ⁡ 
          
         
        
          = 
         
        
          max 
         
        
          ⁡ 
         
         
         
           ( 
          
          
          
            r 
           
          
            w 
           
          
            max 
           
          
            ⁡ 
           
          
         
           , 
          
          
          
            r 
           
          
            h 
           
          
            max 
           
          
            ⁡ 
           
          
         
           ) 
          
         
        
       
      
     
    
   
     \begin{array}{l} r_{w}=w_{g t} / w_{a t} \\ r_{h}=h_{g t} / h_{a t} \\ r_{w}^{\max }=\max \left(r_{w}, 1 / r_{w}\right) \\ r_{h}^{\max }=\max \left(r_{h}, 1 / r_{h}\right) \\ r^{\max }=\max \left(r_{w}^{\max }, r_{h}^{\max }\right) \end{array} 
    
   
 rw​=wgt​/wat​rh​=hgt​/hat​rwmax​=max(rw​,1/rw​)rhmax​=max(rh​,1/rh​)rmax=max(rwmax​,rhmax​)​

首先算出anchor和GT的横纵比的最大差距，对于最大差距在4倍以上的例子都不作为正样本采用。