本周完成工作：
1.看了一篇通用图大模型文章。
(arXiv 2024.08) AnyGraph: Graph Foundation Model in the Wild
2.项目里PID图生成代码集成到平台里了，进行了初步测试，改了许多bug。
3.修改了一下之前的论文。
本周问题汇报：
1.AnyGraph: Graph Foundation Model in the Wild
动机：现有图模型在跨领域泛化和快速适应新任务上表现不足。传统方法依赖大量微调，难以应对真实场景中分布偏移的挑战。受CV和NLP领域基础模型启发，提出了AnyGraph种基于MoE的图基础模型。
他核心创新点就是将MoE架构引入了图学习领域，并且融合了SVD和无参数GCN将特征与结构统一表示了。
方法核心
1.MoE架构和专家路由机制AnyGraph包含多个独立的图专家模型，每个专家专注于特定子领域（如特定结构或特征类型），每个专家由多层MLP构成，舍弃复杂GNN结构以提升效率。他通过轻量级路由机制为输入图动态分配最相关的专家。具体而言，计算每个专家对当前图的正负边预测得分差异，结合训练频率正则化避免“赢家通吃”问题，确保各专家均衡参与训练。在推理时仅激活单个专家，计算资源消耗仅为传统模型的1/K，K是专家数量，显著降低了训练/推理成本。
2.统一特征与结构表示首先进行了SVD与GCN初始化，对邻接矩阵和节点特征分别进行奇异值分解（SVD），提取主成分特征后拼接，并通过无参数GCN注入高阶连接信息，生成统一的初始节点嵌入。然后进行特征对齐，翻转特征矩阵的SVD维度，使邻接矩阵的重要特征与节点特征的次要维度对齐，缓解异质性冲突。
3.训练优化与数据增强他进行了跨域混合训练，将多领域图数据混合训练，采用链接预测任务，通过批内负采样最大化正样本得分。还进行了周期性增强，定期重新生成初始嵌入（SVD+GCN）和路由结果，增加数据多样性，提升模型对噪声的鲁棒性
他实验效果不错，而且方法效率很高。
转载本文请联系原作者获取授权，同时请注明本文来自明皓亮科学网博客。
链接地址：https://wap.sciencenet.cn/blog-3622926-1483604.html?mobile=1
收藏
