在社交网络中预测谁会成为好友，在蛋白质网络中发现潜在的相互作用——这些看似简单的任务，背后都依赖于一个关键的研究领域——链路预测。过去二十年，成千上万的链路预测算法被提出，但随之而来的问题是：我们该用什么标准来评判这些算法的“实力”？在真实系统中，哪个评价指标才是最可靠的“裁判员”？
目前，学界常用的评价指标有AUC、F1分数、NDCG等多种（见图1所示）。然而，究竟哪个指标能最敏锐地分辨出不同算法之间的细微差距？这个问题一直悬而未决。
图1：对链接预测研究中使用的评估指标的调查.
在之前本团队的研究中[Yilin Bi, Xinshan Jiao, Yan-Li Lee, Tao Zhou, Inconsistency among evaluation metrics in link prediction, PNAS Nexus 3 (2024) pgae498.]，我们揭示了不同评价指标之间存在“评价不一致”的普遍现象——同一个算法，用不同评价指标，排名可能天差地别。这就像一场竞赛，不同的裁判给出不同的打分，让人无所适从。为了解决这一难题，我们更进一步，提出了一个更根本的问题：谁的“眼力”最好？即，在众多“裁判员”中，哪个指标最擅长分辨出算法性能的高低？此研究成果在学术期刊《Chaos, Solitons and Fractals》上发表。我们提出了一套量化方法，为这些“裁判员”——即评价指标——的分辨能力（discriminability）进行了全面而科学的“大考”（见图2所示）。
图2：在网络中计算分辨能力值的流程图.
给“裁判员”打分：H-measure脱颖而出
研究团队对8种主流评价指标进行了大规模实验，分析了它们在真实网络和多种算法上的表现。结果显示，一个名为H-measure的指标，其分辨能力高居榜首！（见图3所示）它能最清晰地分辨出不同算法性能的优劣。
图3：具有不同阈值p∗的评估指标的平均可分辨能力值。
紧随其后的是大家耳熟能详的AUC和NDCG。AUC作为目前链路预测领域最广泛使用的指标，此次排名第二，其可靠性得到了进一步验证。而H-measure虽然在理论上对AUC有显著改进，但此前并未受到足够重视，也极少被直接应用于链路预测研究中。
为算法评估提供“金标准”建议
这项研究不仅揭示了H-measure这一“宝藏指标”的卓越性能，更重要的是，为研究者们提供了一个选择评估工具的科学依据。研究团队建议：
- 优先考虑H-measure：鉴于其出色的分辨能力，研究者在评估链路预测算法时，应更多地关注并考虑使用H-measure作为核心指标。
- AUC和NDCG仍是可靠选择：AUC依然可靠，NDCG也值得在未来得到更多关注和应用。
该研究通过严谨的量化分析，为链路预测领域的算法评估树立了新的标杆。这不仅是对评价体系的完善，更是推动该领域向更公平、更科学方向发展的重要一步。未来，选择一个“好裁判”，或许比开发一个“好算法”更为关键。
论文信息：Shuyan Wan*, Yilin Bi*, Xinshan Jiao, Tao Zhou, Quantifying discriminability of evaluation metrics in link prediction for real networks, Chaos, Solitons & Fractals 199 (2025) 116864.
论文链接：https://doi.org/10.1016/j.chaos.2025.116864.
本团队关于链路预测指标有效性的工作成果概览：
[1] T. Zhou, Discriminating abilities of threshold-free evaluation metrics in link prediction, Physica A 615 (2023) 128529.
[2] X. Jiao, S. Wan, Q. Liu, Y. Bi, Y.-L. Lee, E. Xu, D. Hao, T. Zhou, Comparing discriminating abilities of evaluation metrics in link prediction, Journal of Physics: Complexity 5 (2024) 025014.
[3] 毕祎琳，焦鑫善，万书言，周涛，链路预测的若干基础问题研究，电子科技大学学报，2024年第53卷第5期，792-800页
[4] Y. Bi, X. Jiao, Y.-L. Lee, T. Zhou, Inconsistency among evaluation metrics in link prediction, PNAS Nexus 3 (2024) page498.
[5] S. Wan, Y. Bi, X. Jiao, T. Zhou, Quantifying discriminability of evaluation metrics in link prediction for real networks, Chaos, Solitons & Fractals 199 (2025) 116864.
转载本文请联系原作者获取授权，同时请注明本文来自周涛科学网博客。
链接地址：https://wap.sciencenet.cn/blog-3075-1505078.html?mobile=1
收藏
