题目：自监督对比学习方法综述

主讲人：巴朔

地点：腾讯会议

时间：20240131 晚9点

简介：

1.      研究背景：对比学习是一种主流的自监督学习方法。通过构造正负样本，模型可以在不依赖或者弱依赖数据标签的情况下对比不同视角的特征信息，从而实现对数据关键特征的提炼。而如何构造与输入数据相似的正样本和不相似的负样本则是对比学习研究中的关键问题之一。目前的研究中，有探究数据增强方法构造正负样本或只构造正样本（对），也有尝试利用多模态信息，如图像和对应的文本描述来构造正负样本。这些方法都取得了一定的成果，但是又存在一定的局限性，如数据增强方法的选取依赖先验，而多模态信息需要每种信息搭配相应编码器，计算成本高昂。因此，如何探索一种高适用性低成本的样本构造方法是一个关键问题。

2.      研究思路：我们使用两个不同的预训练模型对同一数据的特征编码作为正负样本，并在垃圾数据上进行了验证实验。

3.      讨论内容：介绍总结目前主流的图像领域对比学习方法（MOCO、SimCLR、SwAV、BYOL、SimSiam、DINA）的正负样本构造方法、模型结构和实验效果。以及我们的数据在垃圾分类上与已有pca降维结果和原始编码结果的对比。

转载本文请联系原作者获取授权，同时请注明本文来自周池春科学网博客。

链接地址：https://wap.sciencenet.cn/blog-3453120-1420094.html?mobile=1

收藏

分享