|
继续跑虚假新闻检测的实验,目前在调参阶段,在训练集和验证集上的准确率与理想情况基本差不多,但是在测试集上差的很多,在更换数据集(换成推特那个之后)准确率下降也很严重,正在找问题。
看了一篇很有价值的文章,2023AAAI上的:See How You Read? Multi-Reading Habits Fusion Reasoning for Multi-Modal Fake News Detection(之前翻论文没有看到这篇,逛公众号偶然看到),MRHFR总结了三种基本的认知阅读习惯,并提出了认知感知融合层来学习新闻多模态特征之间的依赖关系,从而加深它们在语义层面的融合。是从认知层面出发的,角度很新颖。而且最重要的是,探索连贯性约束推理层不仅可以推断评论与新闻之间的连贯性,还可以评估新闻单模态内容与多模态内容之间的语义偏差。
在对比baseline时,注意到一个之前我没看到的多粒度多模态融合网络(MMFN),把它对应的文章读了一下Multi-modal Fake News Detection on Social Media via Multi-grained Information Fusion,发表在2023的ICMR,通过整合单模态特征和多粒度多模态融合特征,以实现更准确的假新闻检测。
我的理解就是一些情况下,单模态地分析文本内容和情感模式已足以评估帖子的可信度,多模态特征融合显得很不必要,甚至过于强调多模态融合的模型可能会由于多模态特征的不匹配而导致误判。
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2025-4-28 14:27
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社