因子分解机(FM)是一种常用于处理高维稀疏数据中成对(二阶)特征交互的建模方法。然而，一方面，因子分解机(FM)因组合爆炸问题而无法捕捉更高阶的特征交互；另一方面，不加区分地考虑每对特征之间的交互可能会引入噪声、降低预测精度。为了解决以上问题，中国科学院自动化研究所吴书等提出了一种新颖的方法——图因子分解机(GraphFM)，它能够将特征自然地表示在图结构中。研究者们特别设计了一种筛选有益特征交互的机制，将它们表示为特征之间的边。然后，该模型通过将因子分解机(FM)的交互函数整合到图神经网络(GNN)的特征聚合策略中，在图结构特征上实现任意阶特征交互建模。基于多个真实数据集的实验结果验证了该研究所提出方法的合理性和有效性。

代码和数据网址：

https://github.com/CRIPAC-DIG/GraphCTR

图片来自Springer

全文下载：

GraphFM: Graph Factorization Machines for Feature Interaction Modelling

Shu Wu, Zekun Li, Yunyue Su, Zeyu Cui, Xiaoyu Zhang, Liang Wang

https://link.springer.com/article/10.1007/s11633-024-1505-5

https://www.mi-research.net/article/doi/10.1007/s11633-024-1505-5

全文导读

预测分析是机器学习和数据挖掘中的一项基本任务，涉及利用输入特征来预测输出目标，例如回归任务中的实数值或分类任务中的类别标签。这对于在线广告及推荐系统等网络应用尤为重要。不同于图像和音频中自然存在的连续特征，网络应用中的特征大部分是稀疏和类别型的。为了精确地对这些类型的特征进行预测分析，考虑特征间的交互尤为重要。例如，假设我们想要通过五个类别变量预测用户对电影的偏好：1)语言 = {英语，中文，日语......}，2)影片类型 = {动作，科幻，......}，3)导演 = {李安，克里斯托弗·诺兰......}，4)主演 = {李小龙，莱昂纳多·迪卡普里奥......}，5)上映时间 = {1991年，1992年......}。为了捕捉这些特征交互的影响，模型可能会考虑使用三阶交叉特征，如(类型 = 科幻，导演 = 克里斯托弗·诺兰，主演 = 莱昂纳多·迪卡普里奥)或(语言 = 中文，类型 = 动作，主演 = 李小龙)，这些组合可能预示着用户更高的偏好。

因子分解机(FM)是特征交互建模的一种流行且有效的方法，它会为每个独热编码特征学习一个隐向量，并通过这些隐向量之间的内积来建模它们之间的成对(二阶)交互。由于其简洁高效，因子分解机(FM)被广泛应用于推荐系统和点击率预测领域。然而，由于其考虑了所有可能的成对特征交互，因子分解机(FM)存在两个主要缺陷。

因子分解机(FM)的一个主要局限性是无法捕捉三个或更多特征之间的高阶特征交互。虽然针对此问题提出了高阶因子分解机(HOFM)，但由于高阶交互的组合爆炸，其计算复杂度极高，这使得其难以在实践中应用。为了解决因子分解机(FM)在捕捉高阶特征交互方面的局限性，研究者们提出了一些利用深度神经网络(DNNs)的变体。基于因子分解机的神经网络(FNNs)将深度神经网络叠加在预训练的因子分解机(FM)之上，以建模高阶交互。神经因子分解机(NFM)设计了一个双交互层用于学习成对特征交互，并应用深度神经网络学习高阶交互。Wide&Deep模型引入了一个包含浅层和深层组件的混合架构，以联合学习低阶和高阶特征交互。DeepFM模型与之类似，将浅层和深层组件结合起来学习上述两种交互。尽管这些基于深度神经网络的模型能够有效地以隐式、特征位级(或按位)的方式学习高阶特征交互，它们往往缺乏为其输出提供有说服力解释的能力。

GraphFM概览

除了无法有效地捕捉高阶特征交互外，因子分解机(FM)的性能也并非最优，因为它不加选择地考虑了每一对特征的交互，即使其中一些交互对预测并无益处。这些无益的特征交互会引入噪声并导致过拟合，因为它们不仅不提供有用信息，反而增加了模型的复杂度，使模型更难以有效训练。例如，在预测电影偏好时，语言和上映时间之间的特征交互可能并不相关，因此也不会为预测提供有用信息。滤除这些不相关的特征交互可以提升模型性能。为了解决此问题，注意力因子分解机(AFM)通过使用注意力分数重新加权每个交叉特征来区分分解后交互的重要性，即通过分配较低的权重来削弱无用交叉特征的影响。然而，它需要一个预定义的最大阶数，这限制了模型发现具有区分性的交叉特征的潜力。因此，自适应分解网络(AFN)采用了一个由多个向量式对数神经元组成的对数神经变换层，以自动学习特征组合阶数，从而自适应地从数据中学习交叉特征及其权重。

目前，图神经网络(GNNs)作为一种有效的模型类别迅速兴起，用于捕捉图中节点之间的高阶关系，并在计算机视觉、自然语言处理及推荐系统等一系列任务中取得了最先进的成果。其核心在于，图神经网络(GNNs)通过逐层迭代聚合邻节点的特征来学习节点嵌入。这使得其能够在嵌入向量中显式地编码节点间的高阶关系。图神经网络(GNNs)在点击率预测的高阶特征交互建模中也展现出巨大潜力。Fi-GNN模型提出将每个特征域视为一个节点，连接每对节点，从而将多字段特征构造成一个全连接图，并采用门控图神经网络(GGNN)在图上建模特征交互。图分解机(GFM)利用因子分解机(FM)聚合二阶邻节点消息，并利用多层图分解机的叠加来聚合更高阶的邻节点消息，以实现推荐系统中邻域的多阶交互。图卷积因子分解机(GCFM)提出了图卷积特征交叉(GCFC)层，为每个输入样本遍历所有特征，并利用每个样本的特征计算相应的多特征交互图，进而传播其对其他特征的影响。基于知识蒸馏(KD)的有向无环图因子分解机(DAGFM)提出了一种基于有向无环图的模型，该模型可以与动态规划(DP)算法结合，以提升知识蒸馏(KD)能力。然而，并非所有的特征交互都是有益的，且图神经网络(GNNs)依赖于邻近节点共享相似特征的假设，这一假设在特征交互建模的情境下未必成立。

总之，在处理特征交互时，因子分解机(FM)存在固有的缺陷。因此，本文提出了一种新颖的模型——图因子分解机(GraphFM)，它利用图神经网络(GNNs)的优势来克服因子分解机(FM)在特征交互建模方面的问题。GraphFM通过将特征视为节点、筛选出的有益特征交互视为节点之间的边，使得选出的有益特征交互构成一个图。因此，本文设计了一种新颖的技术来选择有益的特征交互，该技术也涉及推断图的结构。然后，本文采用注意力聚合策略来聚合这些选定的有益交互以更新特征表示。具体来说，为了适应不同语义空间中特征交互的多义性(或上下文依赖性)，本文使用了多头注意力机制。本文提出的模型的每一层都基于前几层输出的表示来产生更高阶的交互；因此，所能捕获的交互阶数由网络层深度决定。由于本文提出的方法仅选择有益的特征交互并以显式方式对它们进行建模，它能够高效地捕捉高阶特征交互，从而为模型的输出提供可解释的理由。通过在点击率(CTR)预测基准测试和推荐系统数据集上进行广泛的实验，本文验证了所提出方法的合理性、有效性和可解释性。

总的来说，这项工作的主要贡献有三个方面：1)分析了因子分解机(FM)和图神经网络(GNN)在特征交互建模方面的不足与优势。为了解决其局限并融合其优势，提出了一个用于特征交互建模的新模型——GraphFM。2)通过将特征视为节点、筛选出的成对特征交互视为边，弥合了图神经网络(GNNs)与因子分解机(FM)之间的鸿沟，使得能够利用图神经网络(GNNs)的能力来解决因子分解机(FM)的问题。3)在点击率(CTR)预测基准测试和推荐系统数据集上进行了广泛的实验，以评估所提出方法的有效性和可解释性。实验结果表明，GraphFM能够为特征交互建模和预测决策过程提供有说服力的理由。

全文下载：

GraphFM: Graph Factorization Machines for Feature Interaction Modelling

Shu Wu, Zekun Li, Yunyue Su, Zeyu Cui, Xiaoyu Zhang, Liang Wang

https://link.springer.com/article/10.1007/s11633-024-1505-5

https://www.mi-research.net/article/doi/10.1007/s11633-024-1505-5

BibTex:

@Article {MIR-2023-12-297,

author={ Shu Wu, Zekun Li, Yunyue Su, Zeyu Cui, Xiaoyu Zhang, Liang Wang },

journal={Machine Intelligence Research},

title={GraphFM: Graph Factorization Machines for Feature Interaction Modelling},

year={2025},

volume={22},

issue={2},

pages={239-253},

doi={10.1007/s11633-024-1505-5}}

特别感谢本文第一作者、中国科学院自动化研究所吴书研究员对以上内容的审阅和修改！

MIR纸刊免费寄送

Machine Intelligence Research

MIR为所有读者提供免费寄送纸刊服务，如您对本篇文章感兴趣，请点击下方链接填写收件地址，编辑部将尽快为您免费寄送纸版全文！

说明：如遇特殊原因无法寄达的，将推迟邮寄时间，咨询电话010-82544737

收件信息登记：

https://www.wjx.cn‍/vm/eIyIAAI.aspx#