自我监督学习食谱 

自我监督学习被称为“智能的暗物质”，是推进机器学习的一条很有前途的道路。与受标记数据限制的监督学习不同，自我监督学习可以从大量未标记数据中学习。自我监督学习（Self-supervised learning，SSL）支撑了深度学习在自然语言处理中的成功，导致从自动机器翻译到在未标记文本的网络规模语料库上训练大型语言模型的进步。在计算机视觉中，SSL通过在10亿张图像上训练的SEER等模型，突破了数据大小的新界限。即使是在ImageNet等竞争激烈的基准上，用于计算机视觉的SSL方法已经能够匹配或在某些情况下超过在标记数据上训练的模型。SSL也已成功应用于视频、音频和时间序列等其他模式。 

自我监督学习定义了基于未标记输入的任务，以产生描述性和可理解的表示。在自然语言中，SSL的一个常见目标是屏蔽文本中的一个单词并预测周围的单词。这种预测单词周围上下文的目标鼓励模型在不需要任何标签的情况下捕捉文本中单词之间的关系。相同的SSL模型表示可以用于一系列下游任务，如跨语言翻译文本、汇总，甚至生成文本，以及许多其他任务。在计算机视觉中，类似的目标存在于诸如MAE或BYOL学习之类的模型中，以预测图像或表示的掩蔽补丁。其他SSL目标鼓励通过添加颜色或裁剪等方式形成的同一图像的两个视图映射到类似的表示。 

有了在大量未标记数据上进行训练的能力，这将带来了许多好处。虽然传统的监督学习方法是在特定任务上训练的，通常基于可用的标记数据先验已知，但SSL学习在许多任务中有通用的表示。SSL在医学等领域尤其有用，因为在这些领域，标签成本很高，或者具体任务无法事先知道。还有证据表明，SSL模型可以学习对对抗性示例、标签腐败和输入扰动更具鲁棒性的表示，并且与受监督的模型相比更公平。因此，SSL是一个越来越受关注的领域。然而，就像烹饪一样，训练SSL方法是一门精细的艺术，有很高的入门门槛。 

虽然研究人员对SSL的许多组件都很熟悉，但成功地训练SSL方法需要一系列令人眼花缭乱的选择，从任务到训练超参数。SSL研究进入门槛很高，因为（i）其计算成本，（ii）缺乏详细说明所需复杂实现的完全透明的论文以充分发挥SSL的潜力，以及（iii）缺乏统一的SSL词汇表和理论观点。由于SSL建立了一种不同于传统的基于重建的无监督学习方法的范式，如（去噪、变分）自动编码器，我们在统一观点中理解SSL的词汇是有限的。事实上，在单一观点下统一SSL方法的尝试直到去年才开始出现。如果没有共同点来表征SSL方法的不同组成部分，研究人员开始研究SSL方法就更具挑战性。与此同时，SSL研究急需新的研究人员，因为SSL现在已经部署在整个现实世界中。然而，关于SSL的泛化保证、公平性以及对对抗性攻击甚至自然发生变化的鲁棒性，仍然存在许多悬而未决的研究问题。这些问题对于SSL方法的可靠性至关重要。 

此外，SSL是由经验驱动的，它有许多移动部件（主要是超参数），这些部件可能会影响最终表示的关键属性，并且在已发表的工作中不一定详细说明。也就是说，要开始研究SSL方法，必须首先对这些方法进行详尽的实证研究，以充分掌握所有移动部件的影响和行为。这种经验盲点具有很大的局限性，因为它们需要大量的计算资源和预先存在的实践经验。总而言之，看似不同但重叠的方法、几乎没有现有的理论研究和广泛的现实世界部署共同产生了SOTA性能，这使得需要一本食谱来统一技术及其配方，这对于降低SSL的研究门槛至关重要。 

文献《A Cookbook of Self-Supervised Learning》（图1）的目标就是通过以食谱的形式奠定基础和最新的SSL食谱，降低进入SSL研究的门槛。要想成功烹饪，你必须首先学习基本技巧：切菜、炒菜等。为此，作者们首先使用通用词汇学习自我监督学习的基本技巧。具体来说，描述了方法家族以及理论线索，以统一的视角连接它们的目标。在概念框中强调关键概念，如损失条款或培训目标。接下来，厨师必须学会巧妙地运用这些技巧来制作美味的菜肴。这需要学习现有的食谱，组装食材，并对菜肴进行评估。因此，接下来介绍了成功实现SSL方法的实际注意事项。讨论了常见的训练方法，包括超参数选择、如何组装组件（如架构和优化器）以及如何评估SSL方法。此外，作者们还分享了顶尖研究人员关于常见训练配置和陷阱的实用技巧，旨在希望这本食谱能成为成功培训和探索自我监督学习的实用基础。 

图1自我监督学习食谱 

自我监督学习（SSL）为推进机器智能建立了一种新的范式。尽管取得了许多成功，SSL仍然是一个令人生畏的领域，有一系列令人眼花缭乱的方法，每个方法都有复杂的实现。由于研究进展迅速，SSL方法的广度也很广，因此在该领域的导航仍然是一个挑战。对于最近才加入该领域的研究人员和从业者来说，这成为了一个问题，这反过来又为SSL研究和部署创造了很高的门槛。作者们希望该食谱将有助于降低这些障碍，使任何背景的好奇研究人员都能驾驭各种方法，了解各种旋钮的作用，并获得成功使用SSL所需的专业知识。 

参考文献

[1] Balestriero R, Ibrahim M, Sobal V, et al. A Cookbook of Self-Supervised Learning. arXiv preprint arXiv:2304.12210, 2023.

以往推荐如下：

1. 分子生物标志物数据库MarkerDB

2. 细胞标志物数据库CellMarker 2.0

3. 细胞发育轨迹数据库CellTracer

4. 人类细胞互作数据库：CITEdb

5. ​EMT标记物数据库：EMTome

6. EMT基因数据库：dbEMT

7. ​EMT基因调控数据库：EMTRegulome

8. RNA与疾病关系数据库：RNADisease v4.0

9. RNA修饰关联的读出、擦除、写入蛋白靶标数据库：RM2Target

10. 非编码RNA与免疫关系数据库：RNA2Immune

11. 值得关注的宝藏数据库：CNCB-NGDC

12. 免疫信号通路关联的调控子数据库：ImmReg

13. 利用药物转录组图谱探索中药药理活性成分平台：ITCM

14. AgeAnno：人类衰老单细胞注释知识库

15. 细菌必需非编码RNA资源：DBEncRNA

16. 细胞标志物数据库：singleCellBase