在给定最少标记数据的情况下，通常期望对比学习框架学习对下游任务有用的表示。然而，在天文学应用中，任务通常与已经收集标签的早期任务相关。例如，在银河动物园公民科学项目中，对先前问题的回答可能有助于预测新问题的答案。

arXiv.org上最近的一篇文章建议使用对所有以前GalaxyZoo版本中所有问题的响应来创建可用于回答新问题的通用表示。所提出的混合方法结合了对比学习和监督预训练。它的性能匹配或优于纯预训练或纯对比方法。

研究人员希望这种新方法最终将创建对未知星系形态任务有用的基础模型。

新的天文任务通常与已收集标签的早期任务相关。我们调整对比框架BYOL以利用这些标签作为预训练任务，同时还强制增强不变性。对于大规模预训练，我们引入了GZ-Evov0.1，一组9650万志愿者对552k星系图像的响应以及另外134万可比较的未标记星系。对于任何给定的星系，206个GZ-Evo答案中的大多数都是未知的，因此我们的预训练任务使用了自然处理未知答案的Dirichlet损失。GZ-Evo预训练，不管有没有混合学习，都可以改进直接训练，即使有大量的下游标签(44k标签的准确率提高4%)。我们的混合预训练/对比方法与预训练或对比学习相比，进一步提高了下游准确性，