近年来，随着人工智能的突破性进展，我们已步入大型模型时代。各类基础模型不断涌现，包括但不限于大型语言模型、多模态模型 (如视觉-语言模型) 以及生成式人工智能。在这一背景下，亟需重新审视表征学习的核心角色，以确保这些模型不仅具备强大的预测能力，还在稳健性、安全性和可解释性方面表现卓越。这种重新思考应当扎根于若干关键性的理论与原则之上，尤其是因果推理与信息论，它们为构建强大、可控且可理解的模型提供了坚实的理论基础。具体而言，信息论中的若干核心原理 (如熵最大化与互信息保留) 在学习丰富且稳健的表征方面发挥着重要作用。例如，对比学习可被视为在表征空间中隐式地最大化熵，从而促使模型保留来自数据的多样性和信息量丰富的特征；与此同时，信息瓶颈原理则提供了互补视角，旨在通过压缩表征以剔除无关信息，并保留与任务相关的关键信号。借助这些理论原则带来的深刻洞见，我们有望进一步推动大型语言模型的发展，释放大型模型的潜力，并以更加原则化的方式提升其在各类下游任务中的表现——从低层次到高层次的视觉应用，再到合成数据的生成与创作等多个领域。

Entropy 邀请了来自澳大利亚阿德莱德大学的刘宇航博士和张欣彧博士，以及西北工业大学的闫庆森教授共同创建特刊“面向大模型的表征学习”。本特刊将重点关注大型模型表征学习中的新思想和方法，尤其关注由信息论原理 (例如熵最大化) 驱动的方法。然而，我们也欢迎基于相关视角 (例如因果关系或其他原则性理论框架) 的投稿。我们诚邀原创、未发表的研究论文和系统综述，涵盖 (但不限于) 以下研究领域：

大型语言模型、多模态模型和生成模型的表征学习方法及应用；

将因果关系和思路链与大型模型相结合以增强其推理能力；

大型模型压缩、泛化和安全性的信息论方法；

生成模型中的表征空间分析和可控性；

表征学习在合成数据生成、视觉感知及相关任务中的应用；

表征在多尺度和多任务场景中的泛化；

将表征学习与复杂系统理论（包括混沌理论和熵度量）相结合；

高效且可解释的大型模型训练和推理算法。

投稿截止日期：2025年10月31日 

客座编辑

刘宇航博士，澳大利亚阿德莱德大学，澳大利亚机器学习研究院 (Australian Institute for Machine Learning) 研究员。

研究方向：因果表示学习；因果大语言模型；潜变量模型。

张欣彧博士，澳大利亚阿德莱德大学，澳大利亚机器学习研究院 (Australian Institute for Machine Learning) 研究员。

研究方向：机器学习算法；生成式人工智能。

闫庆森教授，西北工业大学计算机学院教授，博士生导师。

研究方向：图像处理；图像融合；机器学习；计算机视觉。

了解特刊详情：https://www.mdpi.com/si/238453

期刊主页：https://www.mdpi.com/journal/entropy

Entropy 期刊介绍

主编：Kevin H. Knuth, University at Albany, USA

期刊主要发表熵和信息论的相关文章，涉及学科领域有：热力学、统计力学、信息论、生物物理学、天体物理学及宇宙学、量子信息和复杂体系等，当前位于 JCR 物理多学科二区。

2024 Impact Factor：2.0

2024 CiteScore：5.2

Time to First Desicion：21.8 Days

Acceptance to Publication：2.6 Days