An Improved Extreme Learning Machine and Its Application in Imbalanced Data

Han-man LI; Li-dan WANG; Shu-kai DUAN

doi:10.13718/j.cnki.xdzk.2020.06.016

2020 Volume 42 Issue 6

Article Contents

Previous Article Next Article

Han-man LI, Li-dan WANG, Shu-kai DUAN. An Improved Extreme Learning Machine and Its Application in Imbalanced Data[J]. Journal of Southwest University Natural Science Edition, 2020, 42(6): 140-148. doi: 10.13718/j.cnki.xdzk.2020.06.016

Citation:

Han-man LI, Li-dan WANG, Shu-kai DUAN. An Improved Extreme Learning Machine and Its Application in Imbalanced Data[J]. Journal of Southwest University Natural Science Edition, 2020, 42(6): 140-148. doi: 10.13718/j.cnki.xdzk.2020.06.016

An Improved Extreme Learning Machine and Its Application in Imbalanced Data

1.
School of Electronic and Information Engineering, Southwest University, Chongqing 400715, China
2.
National & Local Joint Engineering Laboratory of Intelligent Transmission and Control Technology, Chongqing 400715, China
3.
Brain-Inspired Computing & Intelligent Control of Chongqing Key Lab, Chongqing 400715, China

More Information

Corresponding author: Li-dan WANG ;
Received Date: 21/01/2019
Available Online: 01/06/2020
MSC: TP183

Abstract

The extreme learning machine (ELM) has been widely applied in classification and regression learning due to its simple structure and fast learning capability. However, it might suffer from over-fitting as the network needs to approximate all samples, and single ELM is mediocre in imbalanced data classification. To deal with these problems, a novel ensemble extreme learning machine based on stratified cross-validation is proposed in this paper. Ensemble learning and stratified cross-validation are embedded into the training phase: ① ensemble learning greatly improves classification performance by combining several basic networks; ② stratified cross-validation could learn samples' distribution characteristics to the greatest extent. Experimental results of imbalanced data sets show that the proposed method is robust and more efficient for imbalanced classification.
- stratified cross-validation,
- ensemble learning,
- extreme learning machine (ELM),
- imbalanced data classification

References

[1]	ZONG W W, HUANG G B, CHEN Y Q. Weighted Extreme Learning Machine for Imbalance Learning[J]. Neurocomputing, 2013, 101:229-242. doi: 10.1016/j.neucom.2012.08.010 CrossRef Google Scholar
[2]	ZHANG Y, LIU B, CAI J, et al. Ensemble Weighted Extreme Learning Machine for Imbalanced Data Classification Based on Differential Evolution[J]. Neural Computing and Applications, 2017, 28(S1):259-267. doi: 10.1007/s00521-016-2342-4 CrossRef Google Scholar
[3]	HE H B, GARCIA E A. Learning from Imbalanced Data[J]. IEEE Transactions on Knowledge and Data Engineering, 2009, 21(9):1263-1284. doi: 10.1109/TKDE.2008.239 CrossRef Google Scholar
[4]	TANG Y C, ZHANG Y Q, CHAWLA N V, et al. SVMs Modeling for Highly Imbalanced Classification[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics), 2009, 39(1):281-288. doi: 10.1109/TSMCB.2008.2002909 CrossRef Google Scholar
[5]	LIU X Y, WU J X, ZHOU Z H. Exploratory Undersampling for Class-Imbalance Learning[C]//Sixth International Conference on Data Mining (ICDM'06). Hong Kong, China: IEEE, 2006: 1-5. Google Scholar
[6]	汪璇, 谢德体, 吕家恪, 等.集成GASA混合学习策略的BP神经网络优化研究[J].西南大学学报(自然科学版), 2007, 29(7):168-171. Google Scholar
[7]	李俊唐, 缑纯良, 何兴.基于神经网络的UWB室内定位算法[J].西南师范大学学报(自然科学版), 2018, 43(6):116-120. Google Scholar
[8]	季亚男, 刘光远, 陈通, 等.运动模糊图像经典复原算法[J].西南大学学报(自然科学版), 2018, 40(8):162-171. Google Scholar
[9]	朱航涛, 王丽丹, 段书凯, 等.基于神经元晶体管和忆阻器的Hopfield神经网络及其在联想记忆中的应用[J].西南大学学报(自然科学版), 2018, 40(2):157-166. Google Scholar
[10]	周志华, 陈世福.神经网络集成[J].计算机学报, 2002, 25(1):1-8. doi: 10.3321/j.issn:0254-4164.2002.01.001 CrossRef Google Scholar
[11]	MAO S S, JIAO L C, XIONG L, et al. Greedy Optimization Classifiers Ensemble Based on Diversity[J]. Pattern Recognition, 2011, 44(6):1245-1261. doi: 10.1016/j.patcog.2010.11.007 CrossRef Google Scholar
[12]	ZHOU Z H. When Semi-supervised Learning Meets Ensemble Learning[J]. Frontiers of Electrical and Electronic Engineering in China, 2011, 6(1):6-16. Google Scholar
[13]	KUNCHEVA L I, WHITAKER C J. Measures of Diversity in Classifier Ensembles and Their Relationship with the Ensemble Accuracy[J]. Machine Learning, 2003, 51(2):181-207. Google Scholar
[14]	KIM M J, KANG D K. Classifiers Selection in Ensembles Using Genetic Algorithms for Bankruptcy Prediction[J]. Expert Systems With Applications, 2012, 39(10):9308-9314. doi: 10.1016/j.eswa.2012.02.072 CrossRef Google Scholar
[15]	HUANG G B, ZHU Q Y, SIEW C K. Extreme Learning Machine: a New Learning Scheme of Feedforward Neural Networks[C]//2004 IEEE International Joint Conference on Neural Networks. Budapest, Hungary: IEEE, 2004: 985-990. Google Scholar
[16]	HUANG G B, ZHOU H, DING X, et al. Extreme Learning Machine for Regression and Multiclass Classification[J]. IEEE Transactions on Systems Man & Cybernetics, Part B (Cybernetics). 2012, 42(2):513. Google Scholar
[17]	HANSEN L K, SALAMON P. Neural Network Ensembles[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(10):993-1001. doi: 10.1109/34.58871 CrossRef Google Scholar
[18]	ZHOU Z H, WU J X, TANG W. Corrigendum to Ensembling Neural Networks:Many could be Better than All[J]. Artificial Intelligence, 2010, 174(18):1570. doi: 10.1016/j.artint.2010.10.001 CrossRef Google Scholar
[19]	LAN Y, SOH Y C, HUANG G B. Ensemble of Online Sequential Extreme Learning Machine[J]. Neurocomputing, 2009, 72(13/15):3391-3395. Google Scholar
[20]	CAO J W, LIN Z P, HUANG G B, et al. Voting Based Extreme Learning Machine[J]. Information Sciences, 2012, 185(1):66-77. Google Scholar
[21]	LI K, KONG X F, LU Z, et al. Boosting Weighted ELM for Imbalanced Learning[J]. Neurocomputing, 2014, 128:15-21. doi: 10.1016/j.neucom.2013.05.051 CrossRef Google Scholar
[22]	LIU N, WANG H. Ensemble Based Extreme Learning Machine[J]. IEEE Signal Processing Letters, 2010, 17(8):754-757. doi: 10.1109/LSP.2010.2053356 CrossRef Google Scholar
[23]	CAO J W, LIN Z P, HUANG G B. Self-Adaptive Evolutionary Extreme Learning Machine[J]. Neural Processing Letters, 2012, 36(3):285-305. doi: 10.1007/s11063-012-9236-y CrossRef Google Scholar
[24]	LIANG N Y, SARATCHANDRAN P, HUANG G B, et al. Classification of Mental Tasks from Eeg Signals Using Extreme Learning Machine[J]. International Journal of Neural Systems, 2006, 16(1):29-38. doi: 10.1142/S0129065706000482 CrossRef Google Scholar

Access History

通讯作者: 陈斌, bchen63@163.com

1.
沈阳化工大学材料科学与工程学院沈阳 110142

Figures(3) / Tables(5)

Export Citation

PDF

XML

Article Metrics

Article views(2080) PDF downloads(181) Cited by(0)

Access History

Other Articles By Authors

on this site
on Google Scholar

HTML

不平衡数据的应用场景出现在生活的方方面面，如搜索引擎的点击预测，电子商务领域的商品推荐，信用卡欺诈检测，网络攻击识别等^[1].不平衡数据分类问题也成为机器学习领域一个重要研究课题.简单来说，不平衡数据分类问题就是其中一类或几类的数据占总数的比例远远大于其他类的数据.当遇到这类问题时，应该更关注数据量较少的类别，因为数据量越少包含的信息量越多^[2].

然而很多经典的学习算法例如决策树、支持向量机以及K-近邻法等都是基于平衡或基本平衡数据产生的，在计算时往往更关注数据量多的类别而忽略数据量少的类别^[3-4]，即使将所有的数据都划分为多数的类别也能取得不错的效果.为了解决这一问题，很多用于不平衡数据分类的算法被提出.其中，欠抽样和过抽样应用最为广泛.通过减少一部分大比例数据以及扩充小比例数据，使数据重新分布，在一定程度上减少数据分布的不平衡性^[5].加权学习作为另一种样本再平衡方法也可以解决这一问题.除此之外，神经网络集成也是一种广泛应用的解决不平衡数据分类问题的方法.神经网络在实际中有广泛的应用，汪璇等^[6]将集成GASA混合学习策略与BP神经网络相结合应用在农作物虫情预测；李俊唐等^[7]将神经网络和UWB结合起来用于室内定位；季亚男等^[8]在运动模糊图像退化模型的基础上分析了模糊参数在已知和未知两种情况下模糊图像的PSF的确定方法；朱航涛等^[9]将神经元晶体管和忆阻器的Hopfield神经网络用于联想记忆.神经网络集成简单来说就是训练多个基础网络，即基础分类器，再将它们集成在一起^[10].集成学习可以减少过拟合，提高网络泛化能力.影响集成学习算法性能的主要因素有2个：基本分类器的精度和基本分类器之间的多样性^[11-14].超限学习机(ELM)是由黄广斌等^[15-16]提出的一种基于单隐层前馈神经网络的算法，它通过随机产生输入权重以及隐层结点的偏差，大大提高了训练速度，不需要在迭代过程中调整参数. ELM与其他传统神经网络算法相比具有显著的优越性，用ELM作为集成网络的基础分类器可以保证单个网络的精度.但是由于在训练阶段需要训练所有样本，单个的ELM依然存在着过拟合以及泛化能力低的缺点.

将多个ELM结合起来可以解决上述问题^[17-18].因为ELM的优越性，许多基于ELM的集成算法被提出. Lan等人^[19]将多个在线的ELM(OS-ELM)的结果取平均值作为集成网络的结果；Cao等人^[20]提出了基于投票的ELM集成学习；Li等人^[21]将加权的ELM无缝嵌入到改进的Adaboost模型中，提出了一种增强加权的ELM；Liu等人^[22]提出了一种基于ELM和K折交叉验证的集成算法(EN-ELM)，将集成学习和K折交叉验证结合起来.在训练过程中，将训练样本平均分为K折，依次选取其中的1折作为验证集，剩余的(K-1)折作为训练集，用这样的方法可以减小过拟合.但是这种方法也存在问题，当各类样本量差异较大时，简单地均分样本可能会破坏样本的比例，导致某1折中只含有比例较大的一类样本.不能有效地学习到测试集数据的特点，导致模型准确率较低.

采用分层交叉验证的方法可以很好地解决这一问题.本文提出了一种基于分层交叉验证的集成超限学习机，将分层交叉验证与ELM结合起来作为集成网络的基础分类器.分层交叉验证也就是在划分训练样本时，令每一折的样本中都保持着原始数据中各个类别的比例关系，再进行交叉验证，最大程度地学习样本的分布特点，减小偶然性，提高基础分类器的准确率和泛化能力.并且在每一个基础分类器中根据训练结果G-mean调整输入权重和隐层偏差，找到令训练误差最小的输入权重和隐层偏差.另外，将多个多样的ELM集合起来提高了网络的分类能力.实验结果表明，与其他分类方法相比，该方法具有更好的分类性能.

2. 基于分层交叉验证的集成超限学习机

ELM算法通过随机选择隐含节点的权重和偏差，大大缩短了学习时间.然而，随机产生的参数不包含输入样本的特征，可能并不是最优的，从而降低泛化性能.因此，本文提出构造多个分类器的集合，每个分类器的参数根据特定准则更新，然后作出测试样本的决策.基于分层交叉验证的集成ELM算法如算法1所示.分层交叉验证算法贯穿整个学习过程.一方面，分层交叉验证的方法防止了过拟合，充分学习了样本分布特征；另一方面，集成算法提高了测试的稳定性和准确性.

2.1. 样本分层

假设共有R类样本，在新提出的算法中，将所有的样本都按照类别平均分为K个子集，一共得到R×K个子集.然后分别选取各个类的1个子集组成新的子集，一共组成K个子集，其中每个子集都由各个样本按比例组成.依次令其中1个子集作为验证集，其余的(K-1)个子集作为训练集.

2.2. 初始化

在初始化阶段，随机产生输入权重w_i和隐层偏差b_i，并将它们的值分别赋给$\mathop {{w_i}}\limits^ \wedge$和$\mathop {{b_i}}\limits^ \wedge$，用来存储最优的输入权重和隐层偏差.依次选取其中1个子集作为验证集，其余的(K-1)个子集作为训练集进行训练.经过K次交叉验证，将K次分类的结果按照评价标准计算得出的值(本文用G-mean作为评价标准)取平均赋给$G - \mathop m\limits^ \wedge ean$，在以后的每一个子分类器即每一次循环中，调整相应的输入权重和偏差，并将最好的值存储在$\mathop {{w_i}}\limits^ \wedge$和$\mathop {{b_i}}\limits^ \wedge$中.

2.3. 权重更新和集成学习

假设共有L个子分类器集成，那么网络会循环L次.在接下来的循环中，假如第l次产生的w_i^l和b_i^l可以取得更好的分类效果，即分类结果G-mean^l > $G - \mathop m\limits^ \wedge ean$，那么就要把w_i^l和b_i^l分别赋值给$\mathop {{w_i}}\limits^ \wedge$和$\mathop {{b_i}}\limits^ \wedge$，并把G-mean^l赋值给$G - \mathop m\limits^ \wedge ean$.这样，$\mathop {{w_i}}\limits^ \wedge$和$\mathop {{b_i}}\limits^ \wedge$就可以在迭代中保持最优的输入权重和隐层偏差.训练完成后，用训练得到的最优权重和偏差对测试样本进行分类.因为在训练过程中，训练集和验证集每类样本的分布和测试集一致，因此能更好地学习样本的特征，保证了测试的效果.

4. 结论

本文提出了一种基于分层交叉验证的集成超限学习机，将集成学习方法和分层交叉验证策略引入到网络训练过程中.集成方法是解决不平衡分类问题，增强泛化能力的有效方法之一，分层交叉验证可以使样本划分更公平，减少过拟合.新提出的基于分层交叉验证的集成超限学习机综合了上述2种方法的优点，以减轻过度拟合，提高泛化能力，增强对不平衡数据的分类能力.实验结果表明，基于分层交叉验证的EN-ELM算法在不平衡数据以及不平衡图像分类中优于传统的ELM算法和K折交叉验证的EN-ELM，取得了不错的效果.

Figure (3) Table (5) Reference (24)

Name
	Name cannot be empty!
E-mail
	Mailbox cannot be empty! Mailbox cannot be empty!
Telephone
	Mobile number cannot be empty! Please enter a valid mobile number!
Title

Content
Verification Code

Message Board

An Improved Extreme Learning Machine and Its Application in Imbalanced Data