随着人工智能技术的飞速发展，尤其是大语言模型的崛起，信息的获取、处理与传输方式正经历着革命性的变革。香农熵和信息论作为理解与衡量信息的基础理论在其中扮演着至关重要的角色。

伴随着深度学习模型复杂度的不断提升，其内部机制往往成为一个“黑箱”，给模型的可信度和应用带来了挑战。引入信息论的方法，我们可以探索如何量化模型内的不确定性与信息流动，从而揭示其决策过程。这不仅有助于理解模型的内部运作，还能为模型优化以及下游任务 (如多模态压缩和知识编辑) 提供有效的指导。与此同时，量子熵和量子信息论提供了全新的视角与工具，有望在计算能力、算法设计和安全通信等方面推动人工智能的前沿发展。编码理论在机器学习中也发挥着关键作用，通过信息编码和纠错来提高数据处理的效率、隐私性和安全性。

基于此，Entropy 特邀东南大学李松泽教授和香港城市大学宋林琦教授创建特刊“Information-Theoretic Approaches for Machine Learning and AI (信息论视角下的机器学习与人工智能)”。本特刊旨在征集从信息论视角出发，针对机器学习理论与应用所面临挑战的研究成果。我们诚邀各位作者提交原创研究论文，探讨如何利用信息论和量子信息论解决以下 (但不限于) 主题的问题：

模型可解释性

强化学习

数据压缩与语义通信

联邦学习

大语言模型

优化

安全与隐私

人工智能中的无偏性与公平性

投稿截止日期：2025年4月25日

客座编辑

李松泽 教授

东南大学

东南大学网络空间安全学院教授、区块链应用监管教育部工程研究中心执行主任。于2018年在南加利福尼亚大学 (USC) 获得博士学位，师从信息论和人工智能领域国际著名学者、IEEE Fellow Salman Avestimehr 教授。曾担任斯坦福大学研究员、香港科技大学助理教授。已发表高质量学术论文50余篇，被引用超3900次。

研究领域：人工智能安全及隐私、联邦学习、大模型安全、安全多方计算、区块链安全及隐私、编码计算。

宋林琦 教授

香港城市大学

现为香港城市大学计算机系长聘副教授、IEEE信息论学会香港分会主席。获得加州大学洛杉矶分校 (UCLA) 博士学位及清华大学本科和硕士学位。获得2项日内瓦国际发明展银奖、IEEE MIPR 2020的最佳论文奖和China Communication 2023的最佳论文奖。

研究方向：人工智能、信息论、自然语言处理、分布式学习等。

了解更多本特刊信息：https://www.mdpi.com/si/222021

期刊主页：https://www.mdpi.com/journal/entropy

 Entropy 期刊介绍

主编：Kevin H. Knuth, University at Albany, USA

期刊主要发表熵和信息论的相关文章，涉及学科领域有：热力学、统计力学、信息论、生物物理学、天体物理学及宇宙学、量子信息和复杂体系等，当前位于 JCR 物理多学科二区。

2023 Impact Factor：2.1

2023 CiteScore：4.9

Time to First Decision：22.3 Days

Acceptance to Publication：2.7 Days