近些年随着数据挖掘和机器学习技术的发展, 顺序回归模型在情感分析、产品评论、信用评估、用户画像等领域得到了广泛应用. 在这些领域中,其样本标签包含顺序信息,模型对已分错的样本处理代价往往不同. 如用户画像领域中对年龄的预估, 20岁的青年用户被错分为30岁和50岁形成的用户画像有明显差异. 再如在信用评估领域,一个信用值极低的公司被错分为一般低和较高所影响的决策大相径庭.因此,顺序回归问题受到越来越多的重视.

文本提出基于SVM的线性顺序回归模型. Huadong Wang等人首次提出了非线性的非平行支持向量回归机模型（NPSVOR）,该模型采用Hinge损失函数建立.实验表明在非线性情况下, NPSVOR优于其他基于SVM的方法, 但能有效处理大规模数据的线性NPSVOR模型尚未得到研究.

另外,基于L2的损失有助于顺序回归模型的构建.在解决顺序回归问题时一方面需要考虑顺序信息,另一方面由于对不同分错样本的处理不同,所以在构建模型时,对损失项特殊处理有助于模型的构建使预测标签与实际标签尽可能接近,提高模型的性能. 如此,为了使与真实标签产生较大偏差的样本得到更大的惩罚, 我们在建模中采用L2 损失（均方Hinge 损失）作为模型损失函数.

综上所述, 本文提出一种基于L2损失的线性非平行支持向量顺序回归模型. 线性模型因求解模型速度快、内存消耗小可处理大规模数据. 从目前研究来看, 这是在顺序回归领域中第一个处理大规模问题的相关工作. L2损失相对L1损失对偏离真实标签的样本惩罚更大故有助于顺序回归模型的构建. 此外,针对该模型,该文设计了两种求解该模型的算法并比较了两种算法的性能表现.

引用格式：

石勇, 李佩佳, 汪华东. L2损失大规模线性非平行支持向量顺序回归模型. 自动化学报, 2019, 45(3): 505-517

本文链接：