引用本文

林超群, 王大寒, 肖顺鑫, 池雪可, 王驰明, 张煦尧, 朱顺痣. 基于孪生网络与多重通道融合的脱机笔迹鉴别. 自动化学报, 2024, 50(8): 1660−1670 doi: 10.16383/j.aas.c230777

Lin Chao-Qun, Wang Da-Han, Xiao Shun-Xin, Chi Xue-Ke, Wang Chi-Ming, Zhang Xu-Yao, Zhu Shun-Zhi. Offline handwriting verification based on Siamese network and multi-channel fusion. Acta Automatica Sinica, 2024, 50(8): 1660−1670 doi: 10.16383/j.aas.c230777

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230777

关键词

脱机手写签名验证，深度度量学习，孪生网络，通道融合，ACMix 

摘要

脱机签名验证模型因其具有判断签名是否伪造的能力而备受关注. 当今大多数脱机签名验证模型可分为深度度量学习方法和双通道判别方法. 大部分深度度量学习方法利用孪生网络生成每张图片的细节特征向量, 采用欧氏距离法判断相似度, 但是欧氏距离仅考虑两个点之间的绝对距离, 而容易忽视点的方向、缩放的信息, 不会考虑数据之间的相关性, 因此无法捕获特征向量内部之间的关系; 而双通道判别方法在网络训练前就进行特征的判别, 更能判断不同图像的相似性, 但此时图像的细节特征不够清晰, 大量特征丢失. 针对双通道判别方法中特征消失过多的问题, 提出了一种面向独立于书写者场景的手写签名离线验证模型MCFFN (Multi-channel feature fusion network). 在 CEDAR、BHSig-B、BHSig-H 和 ChiSig 四个不同语言的签名数据集上测试了所提出的方法, 实验证明了所提方法的优势和潜力.

文章导读

在当今社会, 签名笔迹鉴别作为重要的法证手段之一, 广泛应用于法律、保险、文化等多个领域. 由于签名笔迹具有独特性、稳定性及可靠性等特点, 它成为鉴别文件真伪、确认当事人身份等方面的重要依据. 然而, 随着科技的不断发展, 签名笔迹检验也面临着许多挑战. 签名笔迹的产生可以追溯到古代, 当时人们使用各种符号、图形来签名. 随着纸张和墨水的发展, 人们开始使用手写签名, 早在公元439年, 罗马帝国就用签名来验证文件的真伪. 然而, 直到20世纪初, 签名笔迹才开始引起人们的研究. 这一时期, 心理学和统计学等学科开始应用于签名笔迹的研究, 为签名笔迹检验提供了理论基础. 签名笔迹在多个领域中具有重要作用. 在法律领域, 签名笔迹是确认文件真伪的重要依据, 也是法庭上证据的一部分. 在保险领域, 签名笔迹用于鉴别保单真伪, 预防保险欺诈. 在文化领域, 签名笔迹则体现了艺术家的风格和个性, 对于笔迹学的深入研究有着重要价值. 随着科技的进步, 签名笔迹检验面临着许多挑战. 签名笔迹易受书写习惯、情绪、环境等因素影响, 使得笔迹检验的准确性变得复杂. 此外, 签名笔迹造假技术的发展也给检验工作带来了一定的难度. 考虑到如今的文件的真实性大部分还是靠手写签名进行验证, 而利用人力进行判断的成本过高, 因此急需开发一个准确且高效的签名验证技术. 

签名验证技术根据输入的方式不同分为联机签名验证技术和脱机签名验证技术两种. 对于联机签名验证, 研究人员可以获取到签名过程的动态信息, 如笔划轨迹、倾斜度和笔划压力等[1–4]. 而在脱机签名验证技术当中, 研究人员只能获取到通过扫描仪或相机拍摄到的签名图像, 是一种静态的信息[5–7]. 因为静态的信息相比于动态的信息, 获取的信息量更少, 因此脱机签名验证比联机签名验证更具有挑战性. 在如今纸质文档广泛使用的环境下, 脱机签名验证有着更普及的使用空间. 签名验证技术也根据与写入者是否相关, 分为依赖于写者和独立于写者. 在依赖于写者方法当中, 研究人员的测试样本依赖于训练样本, 也就是说测试集的每个签名主体都有一定量的签名样本在训练集当中[8–10]. 在实际应用当中, 为每个用户收集并训练大量的样本是不切实际的. 而独立于写者方法当中, 训练集的用户和测试集的用户是相互独立的[11–12], 因此, 在实际应用中更具有价值. 

签名伪造方法根据伪造的熟练程度, 分为随机伪造、简单伪造和熟练伪造三种类型[13]. 随机伪造的签名没有任何关于被模仿者的信息, 因此与真实样本差异性大. 简单伪造是不遵循被模仿者的书写风格而进行的伪造样本, 与真实样本有一定的相似性. 熟练伪造是专业人员通过分析被模仿者的签名特征, 进行伪造的签名, 与真实样本高度相似. 对于熟练伪造样本, 非专业人员一般分辨不出来, 因此如果有犯罪集团通过获取被模仿者的相关信息, 精心伪造签名进行犯罪行为, 这将对原签名的持有者本人造成不良影响. 此外, 对于书写者本人, 在不同的环境下书写的签名也有很大的区别, 因此, 如何找到真实样本与伪造样本的差异点, 这将是一项艰巨的任务. 为了方便研究人员对脱机签名验证方法的研究, 学术界目前公开了许多脱机签名验证数据集, 例如英语的CEDAR数据集[14]、GPDS数据集[15], 包含孟加拉语和印地语的BHSig260数据集[16], 中文的MSDS数据集[17]、ChiSig数据集[18]. 

在深度学习兴盛之前, 研究人员通常采用特征匹配等传统的图像处理方法进行签名验证. 例如, 文献[19]以及文献[20]开发了第一个离线和在线签名验证系统; 文献[21]利用字符的笔划方向性先进行方向分解, 然后对每个方向的子图像进行频带分解, 用分解后的采样信号值作为笔迹特征, 并采用特征匹配方法进行书写人识别; 文献[22]通过多通道二维Gabor滤波等方法进行身份判别. 如今, 研究者们不断探索新的签名笔迹检验方法, 并且随着深度学习及其相关技术的崛起, 文献[23]采用孪生网络分别提取输入的两张样本图像的特征, 然后利用度量学习的方法判断两张签名之间的相似距离, 并选择一个阈值来判断是否是同一个人书写. 该度量学习的方法具有很大的局限性, 一方面是, 度量学习的度量方法大多使用欧氏距离进行计算, 而欧氏距离仅考虑两个点之间的绝对距离, 容易忽视点的方向、缩放的信息, 不会考虑数据之间的相关性, 因此忽略了特征向量内部各值之间的关系; 另一方面是, 其度量阈值是通过遍历过程求解, 虽然能获取到当前数据集的最优解, 但是泛化性不高, 同一个阈值对不同的数据集的效果将完全不一样. 因此, 文献[24]针对该缺陷提出了DeepHSV, 利用双通道判别的方法进行脱机笔迹鉴别, 通过图像融合, 将需要对比的两张图片融合成一张图片用于模型的输入, 可以有效解决度量学习的局限性. 然而它们是直接在模型输入前将图片进行通道融合, 此时两张对比图片的特征还不是很明显, 导致不同图片之间的精细特征被融合覆盖掉, 因此无法区分精心伪造的签名. 文献[25]提出了逆鉴别八重注意力机制, 将逆鉴别图片作为注意力附加在原始图片上, 使得模型更加关注笔划特征, 并且在多个数据集上取得了不错的结果. 该方法的局限性在于过多关注原始图片的特征, 且只把逆鉴别的特征作为辅助判断的信息, 本文认为笔迹的特征不仅仅可以从原图中获取, 反灰度图片同样蕴含大量的图片特征. 

脱机笔迹签名验证技术虽然可以看成一个二分类任务, 但是和传统的图片分类有很大的不同. 它们的区别在于: 1) 笔迹验证系统输入的两张图片的相似度远远高于其他领域的, 两张图片的差异细节过于稀疏; 2) 图片为灰度单通道图片; 3) 笔迹验证系统判别的本质是风格对比, 设计不当容易造成过拟合. 针对这些问题, 不同的学者给出了不同解决方案, 例如IDN[25], TransOSV[26], LGR[27]等. 以上方法采用CNN或自注意力[28-29]的技术, 通常来说, 这两种技术被归于不同的类型. 但是文献[30]提出的ACMix证明两种方法有很强的潜在关系. 本文将其作为模型的判别模块, 将使得模型更加地专注于融合后图片的稀疏信息特征, 以达到更高的判别精度. 

本文针对双通道判别方法的局限性, 设计了一种多重通道特征融合网络(Multi-channel feature fusion network, MCFFN)框架, 采用双重逆鉴别注意力进行原始图片和反灰度图片的特征提取与增强, 将提取后的多维向量进行通道整合, 采用ACMix进行图像相似度判断. 该网络模型在CEDAR、BHSig-B、BHSig-H、ChiSig四个数据集上均取得了不错的效果, 证明了该方法的有效性及广泛性. 

本文主要贡献如下: 1)提出了MCFFN框架, 通过融合多重孪生网络提取输入图片的多维详细特征来增强真实与伪造图片的差异性; 2)改进了逆鉴别注意力模块, 通过双重逆鉴别注意力机制, 强化了签名特征提取的能力; 3)在CEADR、BHSig-B、BHSig-H和ChiSig数据集上分别进行实验, 取得了很好的效果, 优于基线论文及大多数现有方法. 

图 1  孪生网络结构图

图 2  双通道网络图

图 3  MCFFN结构图

本文提出了一种新颖的脱机笔迹验证模型MCFFN, 用于独立于作者的场景的手写签名验证, 该模型先通过两层卷积网络和双重注意力模块进行特征提取, 然后采用通道融合的方式进行特征融合, 最后采用ACMix判别模块进行多张图片的相似性判断. 采用逆监督机制和双重注意力机制来解决传统通道融合方法中的特征信息不够详细问题. 在测试中, 输入参考签名图像和测试签名图像, 模型直接输出测试签名是真实的还是伪造的. 实验证明了所提出方法的优势和潜力. 未来的工作将集中于跨语言签名验证和识别的研究. 

作者简介

林超群

厦门理工学院计算机与信息工程学院硕士研究生. 主要研究方向为脱机笔迹鉴别. E-mail: lincq@stu.xmut.edu.cn

王大寒

厦门理工学院计算机与信息工程学院教授, 研究员. 2012年获中国科学院大学博士学位.主要研究方向为模式识别, 计算机视觉, 深度学习. 本文通信作者. E-mail: wangdh@xmut.edu.cn

肖顺鑫

厦门理工学院计算机与信息工程学院讲师. 2023年获福州大学博士学位. 主要研究方向为图神经网络, 表示学习, 生物信息计算, 可信人工智能. E-mail: xiaoshunxin.tj@gmail.com

池雪可

2022年获得厦门理工学院硕士学位. 主要研究方向为计算机视觉, 手写数学公式识别. E-mail: 13213834013@163.com

王驰明

厦门理工学院计算机与信息工程学院讲师. 2020年获厦门大学博士学位. 主要研究方向为船舶智能运维, 声振感知. E-mail: wangchiming009@163.com

张煦尧

中国科学院自动化研究所研究员. 2013年获中国科学院大学博士学位. 主要研究方向为模式识别, 机器学习和文字识别. E-mail: xyz@nlpr.ia.ac.cn

朱顺痣

厦门理工学院计算机与信息工程学院教授. 2007年获厦门大学博士学位. 主要研究方向为数据挖掘, 视频分析与处理, 信息推荐, 系统工程. E-mail: szzhu@xmut.edu.cn