引用本文

彭伟, 胡玥, 李运鹏, 谢玉强, 牛晨旭. 基于阅读技巧识别和双通道融合机制的机器阅读理解方法. 自动化学报, 2024, 50(5): 958−969 doi: 10.16383/j.aas.c220983

Peng Wei, Hu Yue, Li Yun-Peng, Xie Yu-Qiang, Niu Chen-Xu. A machine reading comprehension approach based on reading skill recognition and dual channel fusion mechanism. Acta Automatica Sinica, 2024, 50(5): 958−969 doi: 10.16383/j.aas.c220983

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c220983

关键词

机器阅读理解，阅读技巧识别，对比学习，双通道融合机制 

摘要

机器阅读理解任务旨在要求系统对给定文章进行理解, 然后对给定问题进行回答. 先前的工作重点聚焦在问题和文章间的交互信息, 忽略了对问题进行更加细粒度的分析(如问题所考察的阅读技巧是什么?). 受先前研究的启发, 人类对于问题的理解是一个多维度的过程. 首先, 人类需要理解问题的上下文信息; 然后, 针对不同类型问题, 识别其需要使用的阅读技巧; 最后, 通过与文章交互回答出问题答案. 针对这些问题, 提出一种基于阅读技巧识别和双通道融合的机器阅读理解方法, 对问题进行更加细致的分析, 从而提高模型回答问题的准确性. 阅读技巧识别器通过对比学习的方法, 能够显式地捕获阅读技巧的语义信息. 双通道融合机制将问题与文章的交互信息和阅读技巧的语义信息进行深层次的融合, 从而达到辅助系统理解问题和文章的目的. 为了验证该模型的效果, 在FairytaleQA数据集上进行实验, 实验结果表明, 该方法实现了在机器阅读理解任务和阅读技巧识别任务上的最好效果.

文章导读

随着深度学习的发展, 机器阅读理解[1-3] 已经取得了极大进步[4-6], 其是一项测试机器理解自然语言的任务, 要求模型在给定的一篇文本内容的基础上, 对相应的问题作出回答. 不同于传统的检索式问答系统, 机器阅读理解更加考查模型对语言的理解和推理能力[7]. 此外, 机器阅读理解系统有广泛的应用前景, 包括语音助手、智能客户服务系统和搜索引擎等.

近年来, 许多研究工作聚焦在建模问题和文章间的交互过程, 这些交互过程可分为浅层次交互[2]和深层次交互[8] 2种. 如Seo等[2] 首次引入双向注意力流, 以建模问题对文章、文章对问题的语义感知能力; Peng等[4] 从多步推理角度, 挖掘文章中与问题相关的关键信息进行问答; Liao等[9]提出利用异质图的方法, 使模型进行深层次交互, 充分地挖掘问题与文章间的依赖关系. 这些方法多是通过问题和文章间的交互信息和关键证据进行问答, 很少关注问题中更加细粒度的信息, 如阅读技巧识别等.

受文献[10-12]启发, 人类对于问题的理解是一个多维度过程[11]. 在这个过程中, 需要首先对问题的上下文信息进行理解[10], 然后针对不同问题、利用不同阅读技巧进行回答[13]. Purves等[14]将阅读任务分解为3个阶段, 每个阶段检测不同的阅读技巧, 这些阅读技巧可以以一种确定性方式来回答对应的问题[15]. 如当问题考察的是时间和地点相关内容, 那么机器就应该更多地关注文章中的时间和地点实体. 通过在FairytaleQA数据集中的一个例子描述上述过程(见图1). 给定一个问题和一篇文章, 系统需要在步骤1根据问题来分析其背后所涉及的阅读技巧; 在步骤2, 根据挖掘出的阅读技巧和文章信息输出答案. 在图1的例子中, 阅读技巧被识别成“动作”, 表示这个技巧能被用来回答人物的行为或与行为相关的信息. 所以, 机器会更加关注到人物所做的事件, 以此来生成答案“他就会被赶走, 被射杀, ······”. 总之, 对问题的理解不应该仅局限其上下文信息上, 而且需要去挖掘隐藏在问题背后的阅读技巧进行识别.

图 1  在FairytaleQA数据集中的一个例子

为解决上述问题, 本文提出基于阅读技巧识别和双通道融合的机器阅读理解方法, 对问题进行更细致地分析. 本文模型包含上下文编码器、阅读技巧识别器、双通道融合机制和答案生成器. 其中, 上下文编码器的作用是建模问题与文章上下文信息; 阅读技巧识别器通过对比学习方法, 捕获阅读技巧的语义表示; 双通道融合机制将问题与文章上下文信息和阅读技巧的语义表示进行深层次地融合; 答案生成器根据融合后的表示, 生成准确答案. 本文的主要贡献有以下4点:

1)模拟人类阅读过程. 本文基于阅读技巧识别和双通道融合的机器阅读理解方法能加强模型对问题的细致分析, 提高模型回答问题的准确性.

2)为提高阅读技巧识别的精确度, 本文提出一种有监督对比学习的方法, 准确地捕获阅读技巧的语义表示.

3)为更好地融入问题和文章的上下文信息以及阅读技巧的语义表示, 本文提出3种不同的双通道融合机制.

4)实验结果表明, 本文方法在机器阅读理解任务和阅读技巧识别任务上实现了最好效果.

图 2  本文模型总体结构

图 3  阅读技巧识别器结构

本文以人类阅读过程为出发点, 对阅读理解任务中的问题进行更加细度分析, 认为针对不同的问题, 模型应该知晓采取何种策略来生成答案. 提出一种基于阅读技巧识别和双通道融合的机器阅读理解方法, 显式地捕获阅读技巧的语义信息, 并将其和上下文信息进行深层次融合. 实验结果表明, 本文方法实现了最先进的性能, 提高了技巧识别结果和机器阅读理解任务的性能. 样例分析验证了本文方法中各组件的重要性和所采用方法的有效性. 未来将研究如何挖掘问题背后更多的语义信息, 并提高阅读技巧识别的准确性能. 此外, 考虑到目前没有相关的数据具有标注信息, 而人工标注成本较大、时间开销较长, 未来会考虑在类似数据集上先进行人工标注, 再对模型进行实验. 也可通过聚类方法, 把拥有相同阅读技巧的文本进行聚类, 然后学习它们的上下文信息, 以减轻人工标注成本和计算开销.

作者简介

彭伟

中关村实验室助理研究员. 2023年获得中国科学院信息工程研究所博士学位. 主要研究方向为对话生成, 网络空间安全. E-mail: pengwei@iie.ac.cn

胡玥

中国科学院信息工程研究所研究员. 主要研究方向为自然语言处理, 人工智能. 本文通信作者. E-mail: huyue@iie.ac.cn

李运鹏

中国科学院信息工程研究所博士研究生. 2019年获得山东大学学士学位. 主要研究方向为自然语言处理. E-mail: liyunpeng@iie.ac.cn

谢玉强

2023年获得中国科学院大学博士学位. 主要研究方向为自然语言处理, 认知建模. E-mail: yuqiang.xie@kunlun-inc.com

牛晨旭

中国科学院信息工程研究所博士研究生. 2021年获得西安电子科技大学学士学位. 主要研究方向为自然语言处理. E-mail: niuchenxu@iie.ac.cn