一种面向噪声数据鲁棒分类的通用鲁棒孪生极限学习机

《Engineering Applications of Artificial Intelligence》:A generalized robust twin extreme learning machine for robust classification under noisy data

【字体: 大 中 小 】 时间:2026年09月19日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

   摘要:鲁棒学习系统必须同时对干净数据保持敏感性并抵抗数据损坏,这一挑战传统自适应损失函数和正则化方法往往无法完全解决。为了弥合这一差距,我们提出了一种新颖的广义鲁棒损失函数,记为?(x),将对数抑制、有理饱和和L1正则化统一到一个自适应框架中。与Huber损失或Cauchy损

  

摘要:鲁棒学习系统必须同时对干净数据保持敏感性并抵抗数据损坏,这一挑战传统自适应损失函数和正则化方法往往无法完全解决。为了弥合这一差距,我们提出了一种新颖的广义鲁棒损失函数,记为?(x),将对数抑制、有理饱和和L1正则化统一到一个自适应框架中。与Huber损失或Cauchy损失等固定形状损失不同,我们的函数在零附近动态插值对数抑制,在尾部动态插值有理饱和,从而实现对异常值的自适应降权,而无需手动调节阈值。这一设计提供了一种有原则的机制,既能抑制异常值,又能保持对小误差的敏感性。理论上,我们证明?(x)可在o-最小结构中被定义,从而保证Kurdyka-?ojasiewicz(KL)性质,确保我们的优化算法从任意初始点收敛到临界点。我们进一步在M-估计框架内通过证明其有界影响函数来建立鲁棒性。基于?(x),我们提出了广义鲁棒孪生极限学习机(GR-TELM),将?(x)集成到孪生极限学习机(TELM)框架中,以增强对噪声和异常值的抵抗力。为了高效求解由此产生的非凸非光滑优化问题,我们开发了一种基于交替方向乘子法的方案,将问题分解为具有超平面权重闭式更新的子问题和具有松弛变量近端梯度步骤的子问题,确保计算效率和可扩展性。在20个加州大学尔湾分校(UCI)基准数据集上,在包括特征噪声和标签噪声在内的严重噪声条件下进行的全面实验验证了我们的方法。GR-TELM在人工智能领域优于最先进的同类方法,包括采用Incosh损失的极限学习机(LnELM)、采用相关熵诱导损失函数的极限学习机(CELM)、基于相关熵铰链损失的极限学习机(CHELM)、基于同伦损失的拉普拉斯核极限学习机(LKELM)、正则化极限学习机(RELM)以及经典孪生极限学习机(TELM),实现了平均准确率提升3%–6%,同时保持了较高的崩溃点。这种鲁棒性能伴随着适度的计算成本增加(相对于标准TELM约为30–50倍),对于需要在噪声环境中获得可靠性能的应用而言,这是一项合理且合理的权衡。

引言:在当今数据驱动的决策时代,机器学习模型被越来越多地部署于安全攸关的应用领域,如医疗诊断、自动驾驶和金融欺诈检测。然而,真实世界的数据常常受到噪声、异常值和数据误差的污染,这严重损害了模型的可靠性。例如,在自动驾驶系统中,仅5%的标签噪声就可能导致灾难性故障(Frénay and Verleysen, 2013, Algan and Ulusoy, 2021)。传统的模式分类器,如支持向量机(SVM)(Cortes and Vapnik, 1995)和极限学习机(ELM)(Huang et al., 2012),依赖于凸损失函数(如二次损失或铰链损失),因其计算效率和凸性而广受欢迎。然而,这些损失函数在数据受噪声或异常值污染的现实场景中表现出关键局限性。二次损失对异常值极其敏感,因为其平方惩罚不成比例地放大了大残差的影响,使得单个异常值主导目标函数并偏移决策边界。铰链损失虽然对误分类样本呈线性,但缺乏自适应降权机制,且在大约束违反时不会饱和。因此,两种损失函数要么产生无界影响函数,要么产生非红降影响函数,违反了基本的鲁棒性要求。此外,它们无法在干净高斯噪声下的统计效率与重尾或对抗性污染下的鲁棒性之间实现动态平衡,导致参数估计有偏且在数据损坏下泛化能力差。

鲁棒机器学习旨在创建能够承受数据不完美性(如异常值、噪声和分布漂移)的模型(Huber, 1964, Maronna et al., 2019, Hampel, 1974, Rousseeuw and Leroy, 1987, Liu et al., 2007, Koenker and Bassett, 1978, Wu and Liu, 2007, Wang et al., 2008, Huang et al., 2013, Shen et al., 2017, Yuan and Yang, 2021a, Zhang et al., 2017)。这是通过策略性地修改损失函数和正则化机制来实现的(Ke et al., 2020, Ma et al., 2020, Wang et al., 2018, Liu and Tao, 2013, Wang et al., 2024a, Wang and Shao, 2024, Wang and Shao, 2023, Wang et al., 2021)。鲁棒学习的根源可追溯至统计学领域,其中Huber的M-估计器引入了一种混合损失函数,在零附近呈二次型,在大误差处呈线性(Huber, 1964)。虽然该方法保持了凸性,但它缺乏对变化噪声水平的适应性,且需要仔细调节阈值。类似地,截断损失(Rousseeuw and Leroy, 1987)丢弃固定比例的极端样本,但需要事先了解异常值的严重程度。Tukey的双权损失(Lu et al., 2022)或Cauchy损失(Li et al., 2018)等非凸替代方案提供了更强的异常值拒绝能力,但引入了具有次优局部极小值的困难优化地形。对于高维数据,传统M-估计器变得不稳定,即使在轻微污染下也表现出高方差。为了解决这些局限性,相关熵诱导损失(C-Loss)(Liu et al., 2007)利用核方法动态加权样本,但其计算复杂度使其不适用于大规模数据集。分位数回归(Koenker and Bassett, 1978)虽然可解释性强,但在非独立同分布或对抗性污染环境下缺乏理论保证。此外,这些方法通常将残差视为标量,无法捕获基因组学和计算机视觉等领域常见的多元异常值结构(Zhang et al., 2017)。总体而言,当前的鲁棒损失函数存在以下局限性:

- 缺乏适应性:Huber损失需要手动调节阈值,而截断损失需要事先了解异常值的比例。
- 非凸优化挑战:Tukey双权损失和Cauchy损失提供了较强的异常值拒绝能力,但引入了具有次优局部极小值的复杂地形。
- 高维下的不稳定性:传统M-估计器即使在轻微污染下也表现出高方差。
- 计算上的不实用性:相关熵损失(C-Loss)动态加权样本,但对于大规模数据集来说代价太高。
- 复杂设置下缺乏理论保证:分位数回归在非独立同分布或对抗性污染数据下缺乏保证。
- 无法捕获多元异常值结构:大多数方法将残差视为标量,这对于基因组学和计算机视觉等领域来说是不够的。

上述局限性表明,仅设计一种新颖的鲁棒损失函数不足以解决实际问题;其真正价值必须通过一个既高效又具有挑战性的学习框架来验证。在各种神经网络架构中,孪生极限学习机(TELM)在这方面提供了一个理想的试验平台。一方面,TELM继承了ELM的核心优势——隐藏层权重随机初始化并固定,只需学习输出权重,从而在大规模数据上保持高计算效率。另一方面,TELM的孪生超平面结构将传统的二次规划问题分解为两个较小的子问题,进一步加速了训练过程。然而,这种结构也暴露出一个显著脆弱性:原始TELM采用二次损失和松弛变量的线性惩罚,使其对异常值和噪声极为敏感。这种固有敏感性使TELM成为评估鲁棒损失函数有效性的理想试验平台。例如,(Ma and Yang, 2021, Ma, 2020)基于非凸截断L1范数距离度量提出了用于分类任务的鲁棒TELM。Yuan和Yang(Yuan and Yang, 2021b)使用基于相关熵的度量提出了一个鲁棒TELM分类学习框架(LCFTELM)。此外,(Xue et al., 2024)提出了一种具有非对称Welsch诱导损失函数的鲁棒Fisher正则化极限学习机用于分类。这些方法通过替代距离度量和正则化策略共同推进了TELM的鲁棒性,解决了二次损失的局限性同时保持了计算效率。TELM等专门框架在解决孪生超平面优化带来的系统性偏差方面仍面临未解决的矛盾,尤其是当二次损失加剧了对稀疏高幅误差的敏感性时。这些矛盾包括:适应性与效率之间的平衡,动态损失参数化增强了适应性但可能增加计算开销;理论严谨性与实证灵活性之间的平衡,如分位数回归等方法在复杂噪声环境缺乏保证;以及全局与局部抑制之间的管理,高维异常值需要区分特征级噪声分布的结构化正则化,而非统一惩罚。解决这些挑战需要混合方法、领域特定定制和迭代精炼,以开发既鲁棒又高效的框架。

本文为了应对传统鲁棒学习方法在噪声条件下平衡敏感性、鲁棒性和理论保证方面的局限性,我们引入了一种新颖的广义鲁棒损失函数,记为?(x)。所提出的损失函数将对数抑制、有理饱和和L1正则化集成为一个统一的自适应机制,该机制在保持对小误差敏感性的同时,以有界方式抑制异常值,从而实现统计效率与鲁棒性之间的自适应权衡。理论上,我们证明?(x)在M-估计框架内具有有界影响函数,并且可在o-最小结构中被定义。o-最小结构是一种数学框架,保证了"温和性",即所涉及的函数具有良好的几何性质,如有限复杂度和无病态振荡。因此,任何在o-最小结构中被定义的函数都自动满足Kurdyka-?ojasiewicz(KL)性质,这确保我们的优化算法从任意起始点收敛到临界点。基于?(x),我们进一步通过将损失函数嵌入TELM架构提出了GR-TELM。这种集成显著增强了模型对特征噪声和标签损坏的抵抗力,同时保持了TELM的计算效率。为了高效求解由此产生的非凸非光滑优化问题,我们开发了一种基于ADMM(Boyd et al., 2011, Guan et al., 2018, Wang et al., 2024b)的优化方案。该方案将问题分解为两个可处理的子问题——一个具有超平面权重的闭式更新,另一个具有松弛变量的近端梯度步骤,确保了可扩展性和理论收敛性(Parikh and Boyd, 2014, Wang et al., 2022)。在20个UCI基准数据集上,在包括特征噪声和标签噪声在内的严重噪声条件下进行的广泛实验表明,GR-TELM始终优于最先进的鲁棒ELM和TELM变体。所提出的方法实现了平均准确率提升3%–6%,同时保持了较高的崩溃点。虽然GR-TELM相比标准TELM产生了一定的计算成本增加,但对于需要在噪声环境中获得可靠性能的应用而言,这一权衡是合理的。本文的主要贡献总结如下:

- 新颖鲁棒损失函数:我们提出了?(x),该函数混合了对数抑制、有理饱和和L1正则化,以适应性平衡对小误差的敏感性和对大偏差的鲁棒性。
- 鲁棒性认证:在M-估计框架内,我们正式证明了?(x)具有有界影响函数,确立了其对异常值的抵抗力。
- 收敛保证:我们证明了?(x)可在o-最小结构中被定义,这保证了KL性质,从而确保了相关非凸优化的全局收敛性。
- GR-TELM:我们通过将?(x)集成到TELM架构中提出了GR-TELM方法。这种集成显著提高了对特征噪声和标签损坏的鲁棒性,同时保持了TELM的计算效率。
- 高效ADMM求解器:我们为GR-TELM开发了一种基于ADMM的优化算法,将问题分解为两个子问题——一个具有超平面权重的闭式更新,另一个具有松弛变量的近端梯度步骤。

本文其余部分结构如下:第2节回顾了关于Cauchy损失函数和TELM的相关工作。第3节给出了本文的主要贡献。第4节报告了实验结果。第5节总结了本文并提出了未来的研究方向。

片段:鲁棒损失函数——鲁棒统计学为更具弹性的替代方案提供了基础。Huber损失(Huber, 1964)开创了M-估计方法,将小误差的二次区域与大误差的线性区域相结合,在保持凸性的同时限制了异常值的影响。然而,其性能严重依赖于一个需要事先了解噪声水平的阈值参数δ。为了实现更强的异常值拒绝,引入了非凸红降损失。Cauchy损失(L(r)=ln(Ma...

主要贡献——本文的动机是解决在受异常值和噪声影响的现实场景中提高机器学习模型泛化能力的挑战。在这些情况下,传统损失函数往往难以在敏感性和鲁棒性之间取得平衡。虽然当前的鲁棒学习方法使用自适应损失函数和正则化,但它们往往存在诸如降低计算...

实验设置——为评估我们提出的GR-TELM框架的性能,我们系统地将其与基线方法和最先进的鲁棒方法进行了比较。

这些包括:带有 Incosh 损失的 ELM(LnELM)(Karal, 2017),带有 C 损失的 ELM(CELM)(Singh 等,2014),基于相关熵铰链损失的 ELM(CHELM)(Ren 和 Yang, 2018),带有拉普拉斯核的同伦损失 ELM(LKELM)(Wang 等,2019),正则化 ELM(RELM)(Luo 等,2015),经典孪生 ELM(TELM)(Wan 等,2017),以及 LCFTELM(结论与未来工作。在这项工作中,我们提出了一种新颖的广义鲁棒损失函数 ?(??),该函数整合了三个互补组件:对大误差的对数抑制、限制惩罚增长的有理饱和以及用于稀疏性和稳定性的 ??1 正则化。这种混合公式在对小误差的敏感性和对大偏差的鲁棒性之间实现了最佳平衡。理论上,我们已严格证明 ?(??) 可在 o-最小结构中定义,确保其 CRediT 作者贡献声明 马军:写作 – 审阅与编辑,写作 – 原稿撰写,可视化,验证,监督,软件,资源,项目管理,方法论,调查,资金获取,形式分析,数据整理,概念化。乔蓉宇:写作 – 审阅与编辑,写作 – 原稿撰写,可视化,验证,方法论,数据整理,概念化。余国林:写作 – 审阅与编辑,写作 – 原稿撰写,可视化,验证,方法论,数据。伦理审批 本文不包含作者进行的任何涉及人类参与者或动物的研究。生成式人工智能使用声明 作者声明在创建本文过程中未使用人工智能(AI)工具。利益冲突声明 作者声明我们与其他个人或组织没有财务和个人关系,这些关系可能会不当影响我们的工作,对于任何产品、服务和/或公司,不存在任何性质或种类的专业或其他个人利益,这些利益可能被解释为影响了手稿中提出的立场或对手稿的审查。致谢 本研究部分得到了国家自然科学基金(编号 62366001,编号 12361062)的支持,部分得到了宁夏自然科学基金(编号 2024AAC05055,编号 2026AAC031353,编号 2023AAC02053)的支持,部分得到了中央高校基本科研业务费(编号 2023ZRLG01)的支持,部分得到了北方民族大学研究生创新项目(CYX25127)的支持,部分得到了北方民族大学基础研究基础专项基金(马军|乔蓉宇|余国林
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号