clip代码详解

代码地址：https://github.com/lucidrains/DALLE2-pytorch

不需要准备数据就能运行，适合只查看源码运行流程

注意:配置环境时需要新建环境，下载dalle2-pytorch会自动卸载原环境的pytorch

1.数据及流程

    CLIP整体流程如下，首先对图像提特征、对文本提特征，并进行配对，计算出余弦相似度，另外，图像自身和文本自身进行自监督学习，因此loss函数有3个部分，包含图像的自监督学习、文本的自监督学习以及图像和文本的配对 
   ![](https://img-blog.csdnimg.cn/2b33233fddd540fd890de6eb1948f9b4.png)  

2.图像特征提取损失和文本特征提取损失

    在图像的特征提取中，分别对图像进行两种不同的数据增强q,k，并传入VIT进行特征提取。   

代码如下:

class SimCLR(nn.Module):
    def __init__(
        self,
        net,
        image_size,
        channels = 3,
        hidden_layer = -2,