1. 系统整理了一下我的一个idea，思路来源还是图文差异性（如图），是基于这周看的一篇论文Multimodal Fake News Detection Based on Evidence Enhancement and Local Semantic Interaction。

   核心思想：虚假新闻往往在不同模态、不同粒度的信息间制造冲突或不一致性。是不是可以不直接测量特征差异，而是用“语义期望偏差”来定义冲突，并设计异构图神经网络显式建模和传播局部冲突，最终通过冲突模式分析进行判决

   目前我的大致思路是：

   1、先通过输入层提取 图像+文本 的局部特征+全局特征

   2、通过一个模块去预估出冲突

   3、使用图神经网络建模，结合这个冲突预估的模块去捕捉局部冲突

   4、不同类型的冲突 进行聚合

   代码已经初步完成，下周打算画画流程图什么的，再整合一下思路。

2. 跑baseline，这周跑了MMDFND，作者在GitHub上要求填写申请表才给数据集，5.1我申请的，等了一周，尝试在huggingface上下载数据集，但是发现那上的不全（没有图片部分）。又给作者发了邮件，刚刚得到回复，拿到了数据集，现在在跑（因为服务器太满了，没在服务器跑，比较慢，估计还需要一两天）。

3. 记录一下这周看的几篇论文：

   Multi-Task Network Guided Multimodal Fusion for Fake News Detection

   Multimodal Fake News Detection Based on Evidence Enhancement and Local Semantic Interaction

   Multimodal Inverse Attention Network with Intrinsic Discriminant Feature Exploitation for Fake News Detection

转载本文请联系原作者获取授权，同时请注明本文来自冯琳舒科学网博客。

链接地址：https://wap.sciencenet.cn/blog-3622942-1485308.html?mobile=1

收藏

分享