特征表达和分类器的性能是决定计算机辅助诊断（CAD）系统性能的重要因素。为了提升基于超声成像的乳腺癌 CAD 系统的性能，本文提出了一种基于自步学习（SPL）的多经验核映射（MEKM）排他性正则化机（ERM）集成分类器算法，能同时提升特征表达和分类器模型的性能。该算法首先通过 MEKM 映射得到多组特征，以增强特征表达能力，并嵌入到 ERM 作为多个支持向量机的核变换；然后采用 SPL 策略自适应地选择样本，由易到难地逐步训练 ERM 集成分类器模型，从而提升分类器的性能。该算法分别在乳腺癌 B 型超声数据库和弹性超声数据库上进行了验证，结果显示 B 型超声的分类准确率、敏感度和特异性分别为 （86.36±6.45）%、（88.15±7.12）% 和 （84.52±9.38）%，而弹性超声的分类准确率、敏感度和特异性分别为 （85.97±3.75）%、（85.93±6.09）% 和 （86.03±5.88）%。实验结果表明，本文所提出算法能有效提升乳腺超声 CAD 的性能，具有投入实用的潜能。
引用本文： 汪琳琳, 沈璐, 施俊, 费晓燕, 周玮珺, 徐浩煜, 刘立庄. 基于自步学习的多经验核映射集成分类器在乳腺癌超声计算机辅助诊断上的应用. 生物医学工程学杂志, 2021, 38(1): 30-38. doi: 10.7507/1001-5515.202002004 复制
引言
乳腺癌（breast cancer，BC）是女性常见的恶性肿瘤之一，严重危害女性健康，给社会和家庭带来了沉重的负担。因此，提高乳腺癌诊断的准确性，对于疾病早期介入、治疗具有重要的意义。B 型超声成像（B-mode ultrasound，BUS）作为临床常用的诊断技术，具有廉价、实时、无辐射等优点，广泛应用于乳腺癌诊断[1]。弹性超声成像（elastography ultrasound，EUS）作为一种新的超声成像技术，提供了组织硬度这一力学特性相关的信息，能帮助提高乳腺癌诊断的准确性，已经逐步应用于临床诊断[2]。另一方面，随着人工智能的不断发展，计算机辅助诊断（computer-aided diagnosis，CAD）为医生诊断提供辅助决策，提高了诊断的准确性[3-5]。综上，基于超声成像的乳腺癌 CAD 一直是研究的热点[6-7]。
分类器是 CAD 系统的重要模块，其性能直接影响诊断的准确性[8]。支持向量机（support vector machine，SVM）是广泛应用的分类器，尤其针对小样本数据分类任务通常具有较好的性能[9]。而集成学习通过组合多个弱分类器从而构建一个强分类器，能进一步提升面向小样本数据的分类器的性能[10]。排他性正则化机（exclusivity regularized machine，ERM）是一种新的集成 SVM 分类器，通过定义排他性的多样性度量方法，约束不同 SVM 的分割超平面互相垂直，从而最大化基学习机的多样性[11]。ERM 具有应用于基于超声图像 CAD 的可行性，其性能仍然有进一步提升的空间。
SVM 是一种典型的基于核方法的分类器。核方法将原始特征向量映射到高维空间，使得映射后的样本在高维空间线性可分[12]。传统的核方法主要为隐式核映射（implicit kernel mapping，IKM），容易引起核函数选择不当时特征的可分性更差的问题[13]。经验核映射（empirical kernel mapping，EKM）突破了 IKM 对内积计算的限制，显式地将样本映射到特征空间[14]，已经成功应用于许多基于核的分类器。多经验核映射（multiple empirical kernel mapping，MEKM）是一种改进的算法，其通过从训练集中随机选择子集，构建具有不同内核的多个核函数矩阵，然后利用每个核矩阵的特征分解将样本显式映射到特征空间，增加了特征映射的多样性，从而有效提高分类性能[15]。因此，将 MEKM 嵌入 ERM 分类器以取代 SVM 中的核变换，有望进一步提升分类的性能。
另一方面，Kumar 等[16]将课程学习的关键原理建立为具有理论基础的数学表达形式，即自步学习（self-paced learning，SPL）模型[17]。SPL 的核心思想是模拟人的认知方式，从简单的、普适性的知识结构开始学习，再逐渐增加难度，从而更好地学习更专业化、更复杂的知识。SPL 通过在学习中嵌入自我控制的样本选择方法，提升机器学习模型的鲁棒性[18]。因此，将 SPL 策略应用于 ERM 模型的训练过程，对分类器采用由易到难、逐步增加样本的方式进行迭代训练，具有提升其性能的可行性。
本文提出了一种基于 SPL 的 MEKM-ERM（SPL-MEKM-ERM）分类算法，应用于基于超声成像的乳腺癌 CAD 系统。该算法首先对提取的特征进行随机映射，得到多组不同的特征向量，然后采用 MEKM 对每一组特征向量进行核变换，提升特征表达的能力，同时嵌入到 ERM 作为多个 SVM 的核变换；进一步采用 SPL 策略自适应进行样本选择，由易到难逐步训练 ERM 集成分类器模型，最终提升分类器的性能。本算法主要创新点在于：① 通过 MEKM 产生多种不同的特征表达，在增强特征多样性的基础上，同时取代传统 SVM 分类器的核变换，从而使得分类器更具多样性，提升集成学习的性能；② 将 SPL 策略应用于 MEKM-ERM 分类器模型的训练，通过自适应地选择样本，由易到难地逐步训练集成分类器模型，进一步提升分类器的性能。本文所提出的 SPL-MEKM-ERM 算法对小样本数据具有较好的分类性能，具有应用于乳腺超声 CAD 的潜在价值，同时也具有拓展应用于其它分类任务的可行性。
1 方法
如图 1 所示为本文所提出的 SPL-MEKM-ERM 算法的流程图，主要包含 MEKM 模块和基于 SPL 的 ERM 模块。
图1
SPL-MEKM-ERM 分类算法流程图
Figure1.
Flowchart of SPL-MEKM-ERM classification algorithm
SPL-MEKM-ERM 分类模型的训练过程如下：
（1）对单模态训练样本提取特征，然后进行多个随机映射操作，获得多组新的特征表达；
（2）在 MEKM 模块中对随机映射后的每组特征都分别进行 EKM 变换，在显式的核空间获得新的多样性特征表达；
（3）将步骤（2）中获得的特征表达输入基于 SPL 的 ERM 模块，并采用 SPL 策略自适应地选择训练样本，由易到难地逐步训练 ERM 分类器模型。
1.1 预备知识
1.1.1 MEKM 原理
MEKM 在经验核的基础上，通过显式特征表达的核函数，将原始特征随机映射到多经验核空间，再将多个经验核空间加权组合得到最终预测值。
给定 N 个训练样本 
，
，其中 C 是类别数，
和 
分别表示第 i 个训练样本的特征向量及其标签。对于输入特征 
，随机生成 S 个表达，如式（1）所示：
 |
其中，
，
是随机生成的，分别代表权重矩阵和偏置，s = 1, 
, S。
，是激活函数。对每个 
均可得到对应的经验核函数 
，如式（2）所示：
 |
其中，
是一个特定的内核函数，通常使用高斯核函数，表示 
和 
之间的内积。
表示内积向量的对角矩阵，
表示内积向量的特征向量。得到的 
是一个更加紧密的经验核。
使用加权组合策略将多个经验核进行组合构造分类器，如式（3）所示：
 |
其中，
是输出，
是第 s 个经验特征空间的权重，
是第 s 个特征映射的权重矩阵，
是偏置。
表示增广的权重矩阵，
表示增广的经验向量。有关多经验核学习的具体算法细节请参考文献[19]。
1.1.2 SPL 原理
SPL 按照一定顺序学习，首先学习一个初始化的、一般化的模型结构，然后增加复杂性完成学习任务[20]。SPL 模型对所有的训练样本赋予权重，使用此权重来衡量样本的简单与否，如果一个样本很容易预测它的真实标签，则是简单样本。SPL 的模型如式（4）所示：
 |
其中，
是目标函数，
表示为损失函数，计算了真实标签 
和预测标签 
之间的损失，
表示决策函数 
的模型参数，
是样本特征 
的 SPL 权重，表示样本特征 
的学习难易程度。
是自步函数，由自步参数 
控制，确定如何选择样本，即自步函数确定 v 的权重更新策略[18]。
1.1.3 ERM 原理
ERM 方法的集成机制是约束弱分类器的超平面向量尽可能正交，以此获得多样性，得到不同的弱分类器进行集成，获得比单个分类器更好的性能。ERM 的目标函数如式（5）所示：
 |
其中，
，
分别为各分类器的超平面法向量所形成的矩阵和相应的偏置所形成的向量，M 是基分类器个数。
是一个常数，用于平衡各项在目标函数中所占的比重，函数 
表示核映射。算子 
，如果 u 为非负数，则保持输入标量 u 不变，否则返回 0，其扩展向量和矩阵将算子应用于每个元素。对 
进行 
范数的正则使得弱分类器的超平面向量尽可能正交，得到不同的弱分类器。
ERM 的集成方法主要针对分类器本身，未能充分发掘样本多方面的特性。并且 ERM 对所有样本赋予相同重要性，忽略了不同样本对模型的影响，导致 ERM 的鲁棒性和泛化能力不强。
1.2 SPL-MEKM-ERM 算法
为了使 ERM 分类器更好地学习医学影像小样本数据的特征信息，对特征更好地进行分类，本文提出了 SPL-MEKM-ERM 算法，其模型如式（6）所示：
 |
其中，目标函数的第一项为自步系数与样本误差的乘积，第二项为确定如何选择样本的自步函数，第三项为参数正则项。MEKM 能够组合多种不同的特征表达，在增强特征多样性的基础上，取代传统 SVM 分类器的核变换，从而使得分类器更具多样性，提升集成学习的性能。SPL 通过自适应地选择样本，由易到难地逐步训练集成分类器模型，能进一步提升分类器的性能。
为了使式（6）中的变量可分，便于使用交替优化方法求解，引入辅助变量 
，如式（7）所示：
 |
其中，
，
。同时，引入辅助变量 
。式（6）的最小化问题可以转化成如式（8）所示形式：
 |
其中，
，
表示点乘运算，
，
。
由于式（8）中每项的凸性以及约束呈线性，因此目标问题是凸的。则式（8）的拉格朗日函数可以转化成如式（9）所示形式：
 |
定义函数 
，其中
表示矩阵的内积。
是一个正的惩罚数。
，
是拉格朗日乘子。使用交替优化方法，通过固定其它变量一次迭代地更新一个变量，其迭代优化过程如下：
（1）更新 
：
为了更新 
，需要确定自步函数 
的形式。通常使用的自步函数包括硬加权、线性加权和混合加权，本文使用了混合加权的自步函数形式。混合加权的自步函数是 hard 0-1 加权和 soft 实值加权的混合，如式（10）所示：
 |
其中，除了 
外还引入了额外的自步参数 
。因此，得到对应的最优 
如式（11）所示：
 |
其中，
表示样本特征 
的损失。
（2）更新 
：
将与 
无关的变量固定，对 
的每一行 
进行求解，如式（12）所示：
 |
其中，
是单位矩阵，
的公式如式（13）所示：
 |
其中，
是一个极小的正数，用于避免除数为零。
（3）更新 
：
去除与 
无关的项得到一个最小二乘回归问题，得到更新 
的公式如式（14）所示：
 |
（4）更新 
：
选取式（9）中与 E 相关的项组成 E 的子问题，为了寻找 E 中每个元素的最小值，需要选择当 
和 
时，更小的值即可。E 的更新公式如式（15）所示：
 |
其中，
是一个指示函数，
的补集用 
表示。
（5）更新 
：
对式（9）中有包含 
的项求偏导，令偏导为 0，可得更新 
的公式，如式（16）所示：
 |
（6）更新 
：
固定与多核隐射组合系数 
不相关的变量，得到关于 
的子问题，解此最小化问题，得到 
的更新公式，如式（17）所示：
 |
更新拉格朗日乘子 
、
，如式（18）、（19）所示：
 |
 |
本算法在构造目标函数（9）之后，循环更新上述参数，直到目标函数收敛，最终输出分类结果。
2 实验和结果
2.1 实验数据
本文在非公开的乳腺肿瘤双模态超声数据集中进行所提出的 SPL-MEKM-ERM 算法验证。该数据集由南京鼓楼医院超声科采集，提供了双模态的乳腺肿瘤图像数据，即 B 型超声模态和弹性超声模态。双模态超声数据同时采集自 264 位患者，其中包括 129 位良性乳腺肿瘤患者和 135 位恶性乳腺肿瘤患者。所有良性肿瘤病例是通过麦默通微创手术或超声引导下组织学活检证实，而所有恶性肿瘤则在手术后通过了病理学验证。该数据集已获得南京鼓楼医院伦理委员会的批准，所有患者均签署了知情同意书，并得到授权可以用作学术研究。
该数据集由超声扫描仪（Resona7，迈瑞生物医疗电子股份有限公司，中国深圳）通过 L11-3 线阵探头采集。由一位有经验的超声医生从每幅 B 型超声图像中标注包含肿瘤区域的感兴趣区域（region of interest，ROI），然后通过自行开发的程序将该区域位置对应到弹性图像中获取 ROI。如图 2 所示为良性和恶性双模态超声图像的示例，其中白色箭头指向肿瘤区域。
图2
良恶性乳腺肿瘤双模态超声图像
Figure2.
Bimodal ultrasound images of benign and malignant breast tumors
2.2 特征提取
从每一幅 B 型超声图像和弹性超声图像中裁剪出所标注的 ROI，然后分别提取了 71 维特征，包括统计特征、纹理特征、Hu 不变矩特征，具体如下：
（1）统计特征，基于 ROI 中像素的强度进行计算，包括均值、标准差、直方图熵、差异系数、偏度、峰度、面积比、组合面积比、分位数共计 18 个特征。具体计算方法请参考文献[22]。
（2）纹理特征，基于灰度共生矩阵（gray-level co-occurrence matrix，GLCM）进行计算。GLCM 通过计算图像中一定距离和方向的两点像素灰度值之间的相关性，反映了图像关于方向、亮度、变化幅度方面的信息[21]。本文提取了角二阶矩、相关性、能量、对比度、均匀性、熵等特征。为了更有效地表示纹理，将原始图像量化为 8 个强度，并通过计算像素相对距离（d = 1）和 4 个不同的方向（θ = 0°，45°，90°，135°）得到[22]，共计 46 个特征。
（3）Hu 不变矩，基于图像二阶和三阶中心距进行计算，二阶矩表示图像灰度的方差，三阶矩用于衡量图像像素分布是否有偏[23]，Hu 不变矩在连续图像条件下可以保持平移、缩放、旋转不变，共计 7 个特征。
2.3 实验设计
为了评估所提出的 SPL-MEKM-ERM 分类算法性能，本文对多个算法进行了对比实验：
（1）SVM[9]：采用传统的 SVM 分类器进行分类，作为一个基准的对比算法；
（2）ERM[11]：采用原始的 ERM 分类器进行分类；
（3）SPL-ERM：采用 SPL 策略对原始 ERM 分类器模型进行训练，然后应用于分类任务；
（4）EKM[14]：采用原始的 EKM 算法进行分类；
（5）MEKM[15]：采用原始的 MEKM 算法进行分类；
（6）EKM-ERM：对特征先进行 EKM 映射，然后嵌入 ERM 分类器进行分类；
（7）MEKM-ERM：对多次随机映射的特征采用 MEKM 进行特征表达，然后嵌入 ERM 进行分类；
（8）SPL-EKM-ERM：对特征进行 EKM 映射，并嵌入 ERM 分类器，然后采用 SPL 策略进行模型训练，最终应用于分类任务。
为了验证各种算法的性能，本文采用五折交叉验证方法，最终结果以五次结果的平均±标准差的形式呈现。最终结果使用了如下指标：分类准确率（accuracy，ACC）、敏感性（sensitivity，SEN）、特异性（specificity，SPE）、阳性检测率（positive predictive value，PPV）、阴性检测率（negative predictive value，NPV）、约登指数（Youden index，YI）和平衡 F1 分数 (F1 score)。每个指标具体计算方法如式（20）所示。
 |
其中，真阳性（true positive，TP）表示本来是阳性，被正确分类的样本个数；假阳性（false positive，FP）表示原本不是阳性，但被分类为阳性的样本个数；真阴性（true negative，TN）表示本来是阴性样本，被正确分类的样本个数；假阴性（false negative，FN）表示本来不是阴性，但被错误地分类为阴性地样本个数。分类准确率表示判断正确的样本数占所有样本的比例；敏感性表示所有阳性样本中被正确分类的比例，衡量了分类器对疾病的敏感程度；特异性表示所有阴性样本中被正确分类的比例，衡量了分类器对于阴性的识别能力；阳性检测率表示预测为阳性的样本中实际为阳性的可能性；阴性检测率表示预测为阴性的样本中实际为阴性的可能性；约登指数综合了敏感性和特异性的结果，表示发现真正阳性和阴性的总能力；F1 分数为敏感性和阳性检测率的加权平均。约登指数和 F1 分数值越大，表明分类模型的疾病筛查效果越好，真实性越大。本文还画出受试者工作特征曲线（receiver operating characteristic curve，ROC）作为直观评价的指标[24]。
2.4 实验结果
如表 1 所示为各种算法在 B 型超声数据集上的分类结果。可以发现，在所有对比算法中，SPL-MEKM-ERM 获得了最高的分类准确率（86.36±6.45）%，其敏感性、约登指数、阳性检测率、阴性检测率和 F1 分数也最高，分别为（88.15±7.12）%、（72.67±12.96）%、（86.00±7.89）%、（87.43±7.10）% 和（86.90±6.18）%。相比于其它算法，SPL-MEKM-ERM 在准确率、敏感性、约登指数、阴性检测率和 F1 分数至少能提高 1.51%、2.96%、2.90%、2.94%、1.95%。本文提出的 SPL-MEKM-ERM 算法使用 MEKM 取代原始 ERM 中 SVM 的隐式核变换，获得了比 SPL-ERM 算法更优的分类结果，说明 MEKM 变化增强了分类器的多样性，有利于集成学习；同样的结论在 MEKM-ERM 与 ERM 的实验对比得以体现。同时，SPL-MEKM-ERM 算法将 SPL 与 ERM 相结合，与 MEKM-ERM 相比，分类结果也有较为明显的提高，表明了 SPL 策略的有效性；而 SPL-ERM 与 ERM 的实验对比同样也证明了此结论。
表1
基于 B 型超声数据不同算法分类结果
Table1.
Classification results of different algorithms based on B-mode ultrasound data
如表 2 所示为各种算法在弹性超声数据集上的分类结果。由表 2 可以发现，该数据集上的结果趋势与 B 型超声数据集类似。SPL-MEKM-ERM 仍然取得了最优的结果，其分类准确率为（85.97±3.75）%，敏感性、特异性、约登指数、阳性检测率、阴性检测率、F1 分数分别为（85.93±6.09）%、（86.03±5.88）%、（71.96±7.48）%、（86.77±4.45）%、（85.65±5.49）%、（86.21±3.74）%。相比于其它算法，SPL-MEKM-ERM 的分类准确率、特异性、约登指数、阳性检测率、F1 分数的指标上至少提高了 1.50%、2.31%、3.05%、2.23%、1.26%。SPL-MEKM-ERM 相比于 SPL-ERM 和 MEKM-ERM 算法均取得较明显的提升，证明了在原始 ERM 中嵌入 SPL 和 MEKM 的有效性。
表2
基于弹性超声数据不同算法分类的结果
Table2.
Classification results of different algorithms based on elastography ultrasound data
如图 3、图 4 所示，分别显示了各种分类算法在 B 型超声数据集和弹性超声数据集上所获得的 ROC 曲线。SPL-MEKM-ERM 算法的 ROC 曲线与坐标轴的左上角最接近，证明了其分类性能最优。
图3
基于 B 型超声数据的不同算法的 ROC 曲线
Figure3.
ROC curves of different algorithms based on the B-mode ultrasound data
图4
基于弹性超声数据的不同算法的 ROC 曲线
Figure4.
ROC curves of different algorithms based on the elasto graphy ultrasound data
本文进一步对所提出 SPL-MEKM-ERM 算法的模型训练和测试时间进行了评估。由于 B 型超声和弹性超声的特征维度一样，如表 3 所示给出了以 B 型超声数据集为例的五折交叉验证的平均训练和测试时间。可以发现，虽然 SPL-MEKM-ERM 的模型训练时间最长，但是在当前训练集上也能在 9 s 内完成，仍然具有很高的效率。而在测试阶段，该算法与其它对比算法的执行时间并无显著区别，均在 0.1 s 内即可完成对一幅图像的诊断。
表3
不同算法在 B 型超声数据集上的模型训练测试时间对比
Table3.
Comparison of model training and testing time of diffe rent algorithms on B-mode ultrasound data
3 讨论
为了提升基于小样本训练集的乳腺超声 CAD 模型的性能，本文提出了一种基于 SPL 的多经验核 ERM 分类算法。与对比算法相比较，本文提出的 SPL-MEKM-ERM 分类算法取得了最优的分类结果，表明了算法的有效性。该算法具有以下两方面的优点：
（1）常规从图像中提取的特征通常存在表达能力不强、形式单一等问题。本文算法通过在 ERM 中引入 MEKM，将随机映射和 EKM 相结合来生成多样化的特征，增加了特征的多样性和表达能力。EKM 显式地实现核变换，能够更易于处理和分析生成的经验特征空间，而且 EKM 的核函数对输入数据有很强的自适应能力，能够最大限度地保留特征空间中的有效信息，并且计算复杂度较低、输入参数少、收敛速度快，易于实现。将 MEKM 取代 ERM 中 SVM 的隐式核变换，进一步提升了分类器的多样性，有利于提升集成学习的性能。实验结果也表明了 MEKM-ERM 分类器的有效性。
另一方面，将 SPL 策略应用于 MEKM-ERM 模型的训练，能自适应地从易到难选择训练样本，从而进一步提升了分类器的性能。其中，简单样本就是目标损失小的样本，在模型的初级训练阶段就能获得较好的分类结果；反之则是复杂样本，需要通过进一步训练才能使得这些样本获得较好的分类准确率。医学影像数据往往存在较大的个体差异，增加了分类器模型训练的难度。因此，本文采用 SPL 策略训练 MEKM-ERM 模型，有效提升了模型训练的效果，而实验结果也表明了采用该训练方法的有效性。
本文在小样本乳腺数据集上获得了较好的分类结果，表明了本算法在小样本数据集上应用的可能性。同时，考虑到本文数据集是双模态数据集，在今后的研究中，可以考虑在 ERM 中引入迁移学习，或在模型中结合模态融合等方法，将两种模态的数据更有效地利用，进一步提高分类结果。
4 结论
本文提出了一种基于 SPL 的多经验核 ERM 分类算法，通过 MEKM 增强特征表达能力和特征的多样性，并进一步采用 SPL 策略自适应地选择样本，由易到难迭代训练 MEKM-ERM 模型，最终提升了分类器的性能。本文对所提出的算法在乳腺癌的 B 型超声数据集和弹性超声数据集上分别进行了实验。结果表明，与其它对比算法相比，SPL-MEKM-ERM 算法结果在两个数据集上均获得了较好的提升，这说明该算法具有应用于小样本的乳腺超声 CAD 的潜在价值，同时也具有拓展到其它小样本分类任务的可行性。
利益冲突声明：本文全体作者均声明不存在利益冲突。
引言
乳腺癌（breast cancer，BC）是女性常见的恶性肿瘤之一，严重危害女性健康，给社会和家庭带来了沉重的负担。因此，提高乳腺癌诊断的准确性，对于疾病早期介入、治疗具有重要的意义。B 型超声成像（B-mode ultrasound，BUS）作为临床常用的诊断技术，具有廉价、实时、无辐射等优点，广泛应用于乳腺癌诊断[1]。弹性超声成像（elastography ultrasound，EUS）作为一种新的超声成像技术，提供了组织硬度这一力学特性相关的信息，能帮助提高乳腺癌诊断的准确性，已经逐步应用于临床诊断[2]。另一方面，随着人工智能的不断发展，计算机辅助诊断（computer-aided diagnosis，CAD）为医生诊断提供辅助决策，提高了诊断的准确性[3-5]。综上，基于超声成像的乳腺癌 CAD 一直是研究的热点[6-7]。
分类器是 CAD 系统的重要模块，其性能直接影响诊断的准确性[8]。支持向量机（support vector machine，SVM）是广泛应用的分类器，尤其针对小样本数据分类任务通常具有较好的性能[9]。而集成学习通过组合多个弱分类器从而构建一个强分类器，能进一步提升面向小样本数据的分类器的性能[10]。排他性正则化机（exclusivity regularized machine，ERM）是一种新的集成 SVM 分类器，通过定义排他性的多样性度量方法，约束不同 SVM 的分割超平面互相垂直，从而最大化基学习机的多样性[11]。ERM 具有应用于基于超声图像 CAD 的可行性，其性能仍然有进一步提升的空间。
SVM 是一种典型的基于核方法的分类器。核方法将原始特征向量映射到高维空间，使得映射后的样本在高维空间线性可分[12]。传统的核方法主要为隐式核映射（implicit kernel mapping，IKM），容易引起核函数选择不当时特征的可分性更差的问题[13]。经验核映射（empirical kernel mapping，EKM）突破了 IKM 对内积计算的限制，显式地将样本映射到特征空间[14]，已经成功应用于许多基于核的分类器。多经验核映射（multiple empirical kernel mapping，MEKM）是一种改进的算法，其通过从训练集中随机选择子集，构建具有不同内核的多个核函数矩阵，然后利用每个核矩阵的特征分解将样本显式映射到特征空间，增加了特征映射的多样性，从而有效提高分类性能[15]。因此，将 MEKM 嵌入 ERM 分类器以取代 SVM 中的核变换，有望进一步提升分类的性能。
另一方面，Kumar 等[16]将课程学习的关键原理建立为具有理论基础的数学表达形式，即自步学习（self-paced learning，SPL）模型[17]。SPL 的核心思想是模拟人的认知方式，从简单的、普适性的知识结构开始学习，再逐渐增加难度，从而更好地学习更专业化、更复杂的知识。SPL 通过在学习中嵌入自我控制的样本选择方法，提升机器学习模型的鲁棒性[18]。因此，将 SPL 策略应用于 ERM 模型的训练过程，对分类器采用由易到难、逐步增加样本的方式进行迭代训练，具有提升其性能的可行性。
本文提出了一种基于 SPL 的 MEKM-ERM（SPL-MEKM-ERM）分类算法，应用于基于超声成像的乳腺癌 CAD 系统。该算法首先对提取的特征进行随机映射，得到多组不同的特征向量，然后采用 MEKM 对每一组特征向量进行核变换，提升特征表达的能力，同时嵌入到 ERM 作为多个 SVM 的核变换；进一步采用 SPL 策略自适应进行样本选择，由易到难逐步训练 ERM 集成分类器模型，最终提升分类器的性能。本算法主要创新点在于：① 通过 MEKM 产生多种不同的特征表达，在增强特征多样性的基础上，同时取代传统 SVM 分类器的核变换，从而使得分类器更具多样性，提升集成学习的性能；② 将 SPL 策略应用于 MEKM-ERM 分类器模型的训练，通过自适应地选择样本，由易到难地逐步训练集成分类器模型，进一步提升分类器的性能。本文所提出的 SPL-MEKM-ERM 算法对小样本数据具有较好的分类性能，具有应用于乳腺超声 CAD 的潜在价值，同时也具有拓展应用于其它分类任务的可行性。
1 方法
如图 1 所示为本文所提出的 SPL-MEKM-ERM 算法的流程图，主要包含 MEKM 模块和基于 SPL 的 ERM 模块。
图1
SPL-MEKM-ERM 分类算法流程图
Figure1.
Flowchart of SPL-MEKM-ERM classification algorithm
SPL-MEKM-ERM 分类模型的训练过程如下：
（1）对单模态训练样本提取特征，然后进行多个随机映射操作，获得多组新的特征表达；
（2）在 MEKM 模块中对随机映射后的每组特征都分别进行 EKM 变换，在显式的核空间获得新的多样性特征表达；
（3）将步骤（2）中获得的特征表达输入基于 SPL 的 ERM 模块，并采用 SPL 策略自适应地选择训练样本，由易到难地逐步训练 ERM 分类器模型。
1.1 预备知识
1.1.1 MEKM 原理
MEKM 在经验核的基础上，通过显式特征表达的核函数，将原始特征随机映射到多经验核空间，再将多个经验核空间加权组合得到最终预测值。
给定 N 个训练样本 ，，其中 C 是类别数， 和 分别表示第 i 个训练样本的特征向量及其标签。对于输入特征 ，随机生成 S 个表达，如式（1）所示：
|
其中，， 是随机生成的，分别代表权重矩阵和偏置，s = 1, , S。 ，是激活函数。对每个 均可得到对应的经验核函数 ，如式（2）所示：
|
其中， 是一个特定的内核函数，通常使用高斯核函数，表示 和 之间的内积。 表示内积向量的对角矩阵， 表示内积向量的特征向量。得到的 是一个更加紧密的经验核。
使用加权组合策略将多个经验核进行组合构造分类器，如式（3）所示：
|
其中， 是输出， 是第 s 个经验特征空间的权重， 是第 s 个特征映射的权重矩阵， 是偏置。 表示增广的权重矩阵， 表示增广的经验向量。有关多经验核学习的具体算法细节请参考文献[19]。
1.1.2 SPL 原理
SPL 按照一定顺序学习，首先学习一个初始化的、一般化的模型结构，然后增加复杂性完成学习任务[20]。SPL 模型对所有的训练样本赋予权重，使用此权重来衡量样本的简单与否，如果一个样本很容易预测它的真实标签，则是简单样本。SPL 的模型如式（4）所示：
|
其中，是目标函数，表示为损失函数，计算了真实标签 和预测标签 之间的损失， 表示决策函数 的模型参数，是样本特征 的 SPL 权重，表示样本特征 的学习难易程度。 是自步函数，由自步参数 控制，确定如何选择样本，即自步函数确定 v 的权重更新策略[18]。
1.1.3 ERM 原理
ERM 方法的集成机制是约束弱分类器的超平面向量尽可能正交，以此获得多样性，得到不同的弱分类器进行集成，获得比单个分类器更好的性能。ERM 的目标函数如式（5）所示：
|
其中，， 分别为各分类器的超平面法向量所形成的矩阵和相应的偏置所形成的向量，M 是基分类器个数。 是一个常数，用于平衡各项在目标函数中所占的比重，函数 表示核映射。算子 ，如果 u 为非负数，则保持输入标量 u 不变，否则返回 0，其扩展向量和矩阵将算子应用于每个元素。对 进行 范数的正则使得弱分类器的超平面向量尽可能正交，得到不同的弱分类器。
ERM 的集成方法主要针对分类器本身，未能充分发掘样本多方面的特性。并且 ERM 对所有样本赋予相同重要性，忽略了不同样本对模型的影响，导致 ERM 的鲁棒性和泛化能力不强。
1.2 SPL-MEKM-ERM 算法
为了使 ERM 分类器更好地学习医学影像小样本数据的特征信息，对特征更好地进行分类，本文提出了 SPL-MEKM-ERM 算法，其模型如式（6）所示：
|
其中，目标函数的第一项为自步系数与样本误差的乘积，第二项为确定如何选择样本的自步函数，第三项为参数正则项。MEKM 能够组合多种不同的特征表达，在增强特征多样性的基础上，取代传统 SVM 分类器的核变换，从而使得分类器更具多样性，提升集成学习的性能。SPL 通过自适应地选择样本，由易到难地逐步训练集成分类器模型，能进一步提升分类器的性能。
为了使式（6）中的变量可分，便于使用交替优化方法求解，引入辅助变量 ，如式（7）所示：
|
其中，，。同时，引入辅助变量 。式（6）的最小化问题可以转化成如式（8）所示形式：
|
其中，，表示点乘运算，， 。
由于式（8）中每项的凸性以及约束呈线性，因此目标问题是凸的。则式（8）的拉格朗日函数可以转化成如式（9）所示形式：
|
定义函数 ，其中表示矩阵的内积。 是一个正的惩罚数。， 是拉格朗日乘子。使用交替优化方法，通过固定其它变量一次迭代地更新一个变量，其迭代优化过程如下：
（1）更新 ：
为了更新 ，需要确定自步函数 的形式。通常使用的自步函数包括硬加权、线性加权和混合加权，本文使用了混合加权的自步函数形式。混合加权的自步函数是 hard 0-1 加权和 soft 实值加权的混合，如式（10）所示：
|
其中，除了 外还引入了额外的自步参数 。因此，得到对应的最优 如式（11）所示：
|
其中， 表示样本特征 的损失。
（2）更新 ：
将与 无关的变量固定，对 的每一行 进行求解，如式（12）所示：
|
其中， 是单位矩阵， 的公式如式（13）所示：
|
其中， 是一个极小的正数，用于避免除数为零。
（3）更新 ：
去除与 无关的项得到一个最小二乘回归问题，得到更新 的公式如式（14）所示：
|
（4）更新 ：
选取式（9）中与 E 相关的项组成 E 的子问题，为了寻找 E 中每个元素的最小值，需要选择当 和 时，更小的值即可。E 的更新公式如式（15）所示：
|
其中，是一个指示函数， 的补集用 表示。
（5）更新 ：
对式（9）中有包含 的项求偏导，令偏导为 0，可得更新 的公式，如式（16）所示：
|
（6）更新 ：
固定与多核隐射组合系数 不相关的变量，得到关于 的子问题，解此最小化问题，得到 的更新公式，如式（17）所示：
|
更新拉格朗日乘子 、，如式（18）、（19）所示：
|
|
本算法在构造目标函数（9）之后，循环更新上述参数，直到目标函数收敛，最终输出分类结果。
2 实验和结果
2.1 实验数据
本文在非公开的乳腺肿瘤双模态超声数据集中进行所提出的 SPL-MEKM-ERM 算法验证。该数据集由南京鼓楼医院超声科采集，提供了双模态的乳腺肿瘤图像数据，即 B 型超声模态和弹性超声模态。双模态超声数据同时采集自 264 位患者，其中包括 129 位良性乳腺肿瘤患者和 135 位恶性乳腺肿瘤患者。所有良性肿瘤病例是通过麦默通微创手术或超声引导下组织学活检证实，而所有恶性肿瘤则在手术后通过了病理学验证。该数据集已获得南京鼓楼医院伦理委员会的批准，所有患者均签署了知情同意书，并得到授权可以用作学术研究。
该数据集由超声扫描仪（Resona7，迈瑞生物医疗电子股份有限公司，中国深圳）通过 L11-3 线阵探头采集。由一位有经验的超声医生从每幅 B 型超声图像中标注包含肿瘤区域的感兴趣区域（region of interest，ROI），然后通过自行开发的程序将该区域位置对应到弹性图像中获取 ROI。如图 2 所示为良性和恶性双模态超声图像的示例，其中白色箭头指向肿瘤区域。
图2
良恶性乳腺肿瘤双模态超声图像
Figure2.
Bimodal ultrasound images of benign and malignant breast tumors
2.2 特征提取
从每一幅 B 型超声图像和弹性超声图像中裁剪出所标注的 ROI，然后分别提取了 71 维特征，包括统计特征、纹理特征、Hu 不变矩特征，具体如下：
（1）统计特征，基于 ROI 中像素的强度进行计算，包括均值、标准差、直方图熵、差异系数、偏度、峰度、面积比、组合面积比、分位数共计 18 个特征。具体计算方法请参考文献[22]。
（2）纹理特征，基于灰度共生矩阵（gray-level co-occurrence matrix，GLCM）进行计算。GLCM 通过计算图像中一定距离和方向的两点像素灰度值之间的相关性，反映了图像关于方向、亮度、变化幅度方面的信息[21]。本文提取了角二阶矩、相关性、能量、对比度、均匀性、熵等特征。为了更有效地表示纹理，将原始图像量化为 8 个强度，并通过计算像素相对距离（d = 1）和 4 个不同的方向（θ = 0°，45°，90°，135°）得到[22]，共计 46 个特征。
（3）Hu 不变矩，基于图像二阶和三阶中心距进行计算，二阶矩表示图像灰度的方差，三阶矩用于衡量图像像素分布是否有偏[23]，Hu 不变矩在连续图像条件下可以保持平移、缩放、旋转不变，共计 7 个特征。
2.3 实验设计
为了评估所提出的 SPL-MEKM-ERM 分类算法性能，本文对多个算法进行了对比实验：
（1）SVM[9]：采用传统的 SVM 分类器进行分类，作为一个基准的对比算法；
（2）ERM[11]：采用原始的 ERM 分类器进行分类；
（3）SPL-ERM：采用 SPL 策略对原始 ERM 分类器模型进行训练，然后应用于分类任务；
（4）EKM[14]：采用原始的 EKM 算法进行分类；
（5）MEKM[15]：采用原始的 MEKM 算法进行分类；
（6）EKM-ERM：对特征先进行 EKM 映射，然后嵌入 ERM 分类器进行分类；
（7）MEKM-ERM：对多次随机映射的特征采用 MEKM 进行特征表达，然后嵌入 ERM 进行分类；
（8）SPL-EKM-ERM：对特征进行 EKM 映射，并嵌入 ERM 分类器，然后采用 SPL 策略进行模型训练，最终应用于分类任务。
为了验证各种算法的性能，本文采用五折交叉验证方法，最终结果以五次结果的平均±标准差的形式呈现。最终结果使用了如下指标：分类准确率（accuracy，ACC）、敏感性（sensitivity，SEN）、特异性（specificity，SPE）、阳性检测率（positive predictive value，PPV）、阴性检测率（negative predictive value，NPV）、约登指数（Youden index，YI）和平衡 F1 分数 (F1 score)。每个指标具体计算方法如式（20）所示。
|
其中，真阳性（true positive，TP）表示本来是阳性，被正确分类的样本个数；假阳性（false positive，FP）表示原本不是阳性，但被分类为阳性的样本个数；真阴性（true negative，TN）表示本来是阴性样本，被正确分类的样本个数；假阴性（false negative，FN）表示本来不是阴性，但被错误地分类为阴性地样本个数。分类准确率表示判断正确的样本数占所有样本的比例；敏感性表示所有阳性样本中被正确分类的比例，衡量了分类器对疾病的敏感程度；特异性表示所有阴性样本中被正确分类的比例，衡量了分类器对于阴性的识别能力；阳性检测率表示预测为阳性的样本中实际为阳性的可能性；阴性检测率表示预测为阴性的样本中实际为阴性的可能性；约登指数综合了敏感性和特异性的结果，表示发现真正阳性和阴性的总能力；F1 分数为敏感性和阳性检测率的加权平均。约登指数和 F1 分数值越大，表明分类模型的疾病筛查效果越好，真实性越大。本文还画出受试者工作特征曲线（receiver operating characteristic curve，ROC）作为直观评价的指标[24]。
2.4 实验结果
如表 1 所示为各种算法在 B 型超声数据集上的分类结果。可以发现，在所有对比算法中，SPL-MEKM-ERM 获得了最高的分类准确率（86.36±6.45）%，其敏感性、约登指数、阳性检测率、阴性检测率和 F1 分数也最高，分别为（88.15±7.12）%、（72.67±12.96）%、（86.00±7.89）%、（87.43±7.10）% 和（86.90±6.18）%。相比于其它算法，SPL-MEKM-ERM 在准确率、敏感性、约登指数、阴性检测率和 F1 分数至少能提高 1.51%、2.96%、2.90%、2.94%、1.95%。本文提出的 SPL-MEKM-ERM 算法使用 MEKM 取代原始 ERM 中 SVM 的隐式核变换，获得了比 SPL-ERM 算法更优的分类结果，说明 MEKM 变化增强了分类器的多样性，有利于集成学习；同样的结论在 MEKM-ERM 与 ERM 的实验对比得以体现。同时，SPL-MEKM-ERM 算法将 SPL 与 ERM 相结合，与 MEKM-ERM 相比，分类结果也有较为明显的提高，表明了 SPL 策略的有效性；而 SPL-ERM 与 ERM 的实验对比同样也证明了此结论。
表1
基于 B 型超声数据不同算法分类结果
Table1.
Classification results of different algorithms based on B-mode ultrasound data
如表 2 所示为各种算法在弹性超声数据集上的分类结果。由表 2 可以发现，该数据集上的结果趋势与 B 型超声数据集类似。SPL-MEKM-ERM 仍然取得了最优的结果，其分类准确率为（85.97±3.75）%，敏感性、特异性、约登指数、阳性检测率、阴性检测率、F1 分数分别为（85.93±6.09）%、（86.03±5.88）%、（71.96±7.48）%、（86.77±4.45）%、（85.65±5.49）%、（86.21±3.74）%。相比于其它算法，SPL-MEKM-ERM 的分类准确率、特异性、约登指数、阳性检测率、F1 分数的指标上至少提高了 1.50%、2.31%、3.05%、2.23%、1.26%。SPL-MEKM-ERM 相比于 SPL-ERM 和 MEKM-ERM 算法均取得较明显的提升，证明了在原始 ERM 中嵌入 SPL 和 MEKM 的有效性。
表2
基于弹性超声数据不同算法分类的结果
Table2.
Classification results of different algorithms based on elastography ultrasound data
如图 3、图 4 所示，分别显示了各种分类算法在 B 型超声数据集和弹性超声数据集上所获得的 ROC 曲线。SPL-MEKM-ERM 算法的 ROC 曲线与坐标轴的左上角最接近，证明了其分类性能最优。
图3
基于 B 型超声数据的不同算法的 ROC 曲线
Figure3.
ROC curves of different algorithms based on the B-mode ultrasound data
图4
基于弹性超声数据的不同算法的 ROC 曲线
Figure4.
ROC curves of different algorithms based on the elasto graphy ultrasound data
本文进一步对所提出 SPL-MEKM-ERM 算法的模型训练和测试时间进行了评估。由于 B 型超声和弹性超声的特征维度一样，如表 3 所示给出了以 B 型超声数据集为例的五折交叉验证的平均训练和测试时间。可以发现，虽然 SPL-MEKM-ERM 的模型训练时间最长，但是在当前训练集上也能在 9 s 内完成，仍然具有很高的效率。而在测试阶段，该算法与其它对比算法的执行时间并无显著区别，均在 0.1 s 内即可完成对一幅图像的诊断。
表3
不同算法在 B 型超声数据集上的模型训练测试时间对比
Table3.
Comparison of model training and testing time of diffe rent algorithms on B-mode ultrasound data
3 讨论
为了提升基于小样本训练集的乳腺超声 CAD 模型的性能，本文提出了一种基于 SPL 的多经验核 ERM 分类算法。与对比算法相比较，本文提出的 SPL-MEKM-ERM 分类算法取得了最优的分类结果，表明了算法的有效性。该算法具有以下两方面的优点：
（1）常规从图像中提取的特征通常存在表达能力不强、形式单一等问题。本文算法通过在 ERM 中引入 MEKM，将随机映射和 EKM 相结合来生成多样化的特征，增加了特征的多样性和表达能力。EKM 显式地实现核变换，能够更易于处理和分析生成的经验特征空间，而且 EKM 的核函数对输入数据有很强的自适应能力，能够最大限度地保留特征空间中的有效信息，并且计算复杂度较低、输入参数少、收敛速度快，易于实现。将 MEKM 取代 ERM 中 SVM 的隐式核变换，进一步提升了分类器的多样性，有利于提升集成学习的性能。实验结果也表明了 MEKM-ERM 分类器的有效性。
另一方面，将 SPL 策略应用于 MEKM-ERM 模型的训练，能自适应地从易到难选择训练样本，从而进一步提升了分类器的性能。其中，简单样本就是目标损失小的样本，在模型的初级训练阶段就能获得较好的分类结果；反之则是复杂样本，需要通过进一步训练才能使得这些样本获得较好的分类准确率。医学影像数据往往存在较大的个体差异，增加了分类器模型训练的难度。因此，本文采用 SPL 策略训练 MEKM-ERM 模型，有效提升了模型训练的效果，而实验结果也表明了采用该训练方法的有效性。
本文在小样本乳腺数据集上获得了较好的分类结果，表明了本算法在小样本数据集上应用的可能性。同时，考虑到本文数据集是双模态数据集，在今后的研究中，可以考虑在 ERM 中引入迁移学习，或在模型中结合模态融合等方法，将两种模态的数据更有效地利用，进一步提高分类结果。
4 结论
本文提出了一种基于 SPL 的多经验核 ERM 分类算法，通过 MEKM 增强特征表达能力和特征的多样性，并进一步采用 SPL 策略自适应地选择样本，由易到难迭代训练 MEKM-ERM 模型，最终提升了分类器的性能。本文对所提出的算法在乳腺癌的 B 型超声数据集和弹性超声数据集上分别进行了实验。结果表明，与其它对比算法相比，SPL-MEKM-ERM 算法结果在两个数据集上均获得了较好的提升，这说明该算法具有应用于小样本的乳腺超声 CAD 的潜在价值，同时也具有拓展到其它小样本分类任务的可行性。
利益冲突声明：本文全体作者均声明不存在利益冲突。
