Random Vector Function Link Network Ensemble Learning Method for Weighted Subspaces

YE Xuan; HE Yulin; ZHANG Manjing; HUANG Zhexue

doi:10.13718/j.cnki.xsxb.2022.12.001

2022 Volume 47 Issue 12

Article Contents

Previous Article Next Article

YE Xuan, HE Yulin, ZHANG Manjing, et al. Random Vector Function Link Network Ensemble Learning Method for Weighted Subspaces[J]. Journal of Southwest China Normal University(Natural Science Edition), 2022, 47(12): 1-10. doi: 10.13718/j.cnki.xsxb.2022.12.001

Citation:

YE Xuan, HE Yulin, ZHANG Manjing, et al. Random Vector Function Link Network Ensemble Learning Method for Weighted Subspaces[J]. Journal of Southwest China Normal University(Natural Science Edition), 2022, 47(12): 1-10. doi: 10.13718/j.cnki.xsxb.2022.12.001

Random Vector Function Link Network Ensemble Learning Method for Weighted Subspaces

1.
Guangdong Provincial Laboratory of Artificial Intelligence and Digital Economy (Shenzhen), Shenzhen Guangdong 518107, China
2.
School of Computer and Software, Shenzhen University, Shenzhen Guangdong 518060, China

More Information

Corresponding author: HE Yulin ;
Received Date: 28/07/2022
Available Online: 20/12/2022
MSC: TP391

Abstract

Random vector function link network (RVFL) is a random weight network model, which is based on non-iterative weight update method and solves the output layer weights directly to complete the model training, so it has the advantage of fast training speed, and the existing experiments have proved its good generalization ability in both classification and regression tasks. There are two problems in the current work of improving RVFL: improving the network structure will complicate the model and easily cause overfitting phenomenon; combining with ensemble learning often cannot further improve the model performance by increasing the integration diversity. Therefore, in this paper, a weighted subspace-based random vector function linked network ensemble learning method (WAB-RVFL) is proposed based on the subspace strategy. Based on the linear characteristics of the RVFL network structure in which the input and output layers are directly connected, WAB-RVFL introduces the idea of attribute optimization and proposes the concept of attribute weighting matrix to obtain a better quality weighted subspace by weighting transformation of the genus subspace, making it more conducive to the model for ensemble training. Through experimental tests on eight high-dimensional classification datasets, the feasibility, rationality and effectiveness of WAB-RVFL are confirmed, and it can obtain better generalization ability than six popular RVFL network models.
- subspace strategy,
- ensemble learning,
- generalization ability,
- particle swarm optimization,
- random vector function linked network

References

[1]	CAO W P. A Review on Neural Networks with Random Weights[J]. Neurocomputing, 2018, 275: 278-287. doi: 10.1016/j.neucom.2017.08.040 CrossRef Google Scholar
[2]	SCHMIDT W F, KRAAIJVELD M A, DUIN R P W. Feedforward Neural Networks with Random Weights[C]//11th IAPR International Conference on Pattern Recognition. Vol. Ⅱ. Conference B: Pattern Recognition Methodology and Systems. New York: IEEE Press, 1992: 1-4. Google Scholar
[3]	PAO Y H. Learning and Generalization Characteristics of the Random Vector Functional-Link Net[J]. Neurocomputing, 1994, 6(2): 163-180. doi: 10.1016/0925-2312(94)90053-1 CrossRef Google Scholar
[4]	ZHANG L. A Comprehensive Evaluation of Random Vector Functional Link Networks[J]. Information Sciences, 2016, 367-368: 1094-1105. doi: 10.1016/j.ins.2015.09.025 CrossRef Google Scholar
[5]	ZHOU P. Data Modeling for Quality Prediction Using Improved Orthogonal Incremental Random Vector Functional-Link Networks[J]. Neurocomputing, 2019, 365: 1-9. doi: 10.1016/j.neucom.2019.06.062 CrossRef Google Scholar
[6]	SCARDAPANE S, WANG D H, UNCINI A. Bayesian Random Vector Functional-Link Networks for Robust Data Modeling[J]. IEEE Transactions on Cybernetics, 2018, 48(7): 2049-2059. doi: 10.1109/TCYB.2017.2726143 CrossRef Google Scholar
[7]	KATUWAL R. Stacked Autoencoder Based Deep Random Vector Functional Link Neural Network for Classification[J]. Applied Soft Computing, 2019, 85: 105854. doi: 10.1016/j.asoc.2019.105854 CrossRef Google Scholar
[8]	SHI Q S. Random Vector Functional Link Neural Network Based Ensemble Deep Learning[J]. Pattern Recognition, 2021, 117: 107978. doi: 10.1016/j.patcog.2021.107978 CrossRef Google Scholar
[9]	SHARMA R. FAF-DRVFL: Fuzzy Activation Function Based Deep Random Vector Functional Links Network for Early Diagnosis of Alzheimer Disease[J]. Applied Soft Computing, 2021, 106: 107371. doi: 10.1016/j.asoc.2021.107371 CrossRef Google Scholar
[10]	HU M H, SHI Q S, SUGANTHAN P N, et al. Adaptive Ensemble Variants of Random Vector Functional Link Networks[C]//The 27th International Conference on Neural Information Processing. New York: IEEE Press, 2020: 30-37. Google Scholar
[11]	CHENG W X. Time Series Classification Using Diversified Ensemble Deep Random Vector Functional Link and Resnet Features[J]. Applied Soft Computing, 2021, 112: 107826. doi: 10.1016/j.asoc.2021.107826 CrossRef Google Scholar
[12]	IGELNIK B, PAO Y H. Stochastic Choice of Basis Functions in Adaptive Function Approximation and the Functional-Link Net[J]. IEEE Transactions on Neural Networks, 1995, 6(6): 1320-1329. doi: 10.1109/72.471375 CrossRef Google Scholar
[13]	HE Y L, YE X, HUANG J Z, et al. Bayesian Attribute Bagging-Based Extreme Learning Machine for High-Dimensional Classification and Regression[J]. ACM Transactions on Intelligent Systems and Technology, 2022, 13(2): 1-26. Google Scholar
[14]	KENNEDY J, EBERHART R. Particle Swarm Optimization[C]//Proceedings of ICNN'95-International Conference on Neural Networks. New York: IEEE Press, 1995: 1942-1948. Google Scholar
[15]	DUA D, GRAFF C. UCI Machine Learning Repository[EB/OL]. (2019-04-03)[2021-09-05]. http://archive.ics.uci.edu/ml. Google Scholar
[16]	DEMŠAR J. Statistical Comparisons of Classifiers over Multiple Data Sets[J]. J Mach Learn Res, 2006, 7: 1-30. Google Scholar

Access History

通讯作者: 陈斌, bchen63@163.com

1.
沈阳化工大学材料科学与工程学院沈阳 110142

Figures(5) / Tables(2)

Export Citation

PDF

XML

Article Metrics

Article views(864) PDF downloads(215) Cited by(0)

Access History

Other Articles By Authors

on this site
on Google Scholar

HTML

随机向量函数链接网络(random vector functional link network，RVFL)作为最早的随机权网络模型^[1]于1992年在文献[2]里提出，文献[3]在此基础上进行了总结完善. 作为随机权网络代表，RVFL的输入层权重和隐含层偏置的初始值为随机生成，求解隐含层节点与输入层节点所构成的结合矩阵的伪逆并直接得到输出层权重，进而实现模型训练. 因此，RVFL具有极快的训练速度，且在文献[4]中的实验证明了其具有良好的泛化能力，能处理分类和回归任务，具有很多真实应用场景. 如何有效提升RVFL的稳定性和泛化性，具有重要研究意义.

由于RVFL的结构简单化以及模型随机化，因此当前其改进方向主要集中在改善网络结构和结合集成学习两方面：

1) 改善网络结构的代表性工作. 在网络参数选择方面，文献[5]提出了有效节点选择的RVFL改进模型，简记为I-OI-RVFLNs. 该模型首先引入正交化方法对隐含层输出矩阵进行正交化，显著提升模型的收敛速度；其次预先设置隐含层节点个数并迭代更新输出层权重，裁剪冗余节点以实现网络精简化，提升模型的计算效率. 文献[6]于2017年提出了一种基于贝叶斯法则的RVFL改进模型，其在训练阶段获取额外先验知识得到最优权重的概率分布，并在测试阶段线性搜索出合适的正则化因子，进而构造网络模型并使其获得更好的预测性能. 在网络层数方面，文献[7]基于RVFL网络框架以及自编码器概念，首次提出了深度RVFL网络，简记为sdRVFL. sdRVFL引入了去噪准则，即不同的正则化法则，先对数据特征进行深层次的提取，然后将该部分特征输入到原始的RVFL进行预测，从而实现网络结构的深度化. 在sdRVFL的基础上，文献[8]于2021年提出了另一种深度RVFL网络，简记为dRVFL. dRVFL将网络中每一层所提取到的数据特征，进行横向拼接构成拼接矩阵，并利用最小二乘直接计算输出层权重，从而完成dRVFL的训练. dRVFL充分利用每层网络所提取的信息，有效提升了RVFL的泛化能力. 此外，文献[9]提出了另一种新型的深度RVFL网络，简记为FAF-DRVFL. FAF-DRVFL结合迁移学习来进行数据预处理工作，并使用模糊激活函数代替常用的Sigmoid激活函数来计算隐含层输出，有效提高了模型的稳定性以及计算效率.

2) 结合集成学习的代表性工作. 文献[10]于2020年提出了一种基于自适应机制的集成RVFL模型. 该模型根据RVFL的预测准确率来分配不同权重，若样本被错误分类则在下一次训练中给予更大的权重，以此完成模型的集成优化. 文献[11]基于残差网络机制，对数据特征进行有效提取，同时在每个基模型dRVFL的输出层参数中添加噪声扰动，增加集成多样性，从而实现对集成dRVFL(edRVFL)网络模型泛化能力的改进.

若在RVFL网络结构上进行改进，会改变其简单的模型结构，增加过拟合的风险；若结合集成方法对RVFL进行改进，又因无法增大基学习器差异性导致无法提升模型的稳定性和泛化性. 为了在不改变RVFL简单结构的条件下有效提升RVFL的稳定性和泛化性，本文提出了一种加权子空间的随机向量函数链接网络集成方法(weighted attribute bagging-based random vector functional link network，WAB-RVFL)，为优化所选属性子空间使其更适应于RVFL的网络结构，提出属性优化的思想，引入属性加权矩阵概念，提出加权子空间选择策略，搜索得到更优的加权子空间，使其能在RVFL的线性映射与非线性映射之间找到平衡点. 为寻找最优的属性加权矩阵，本文利用训练集和验证集信息构建目标函数，并采取粒子群优化算法迭代及最小化目标函数，从而搜索得到最优属性加权矩阵. 本文在8个分类数据集上展开有说服力的实验，分别验证WAB-RVFL的可行性、合理性和有效性. 实验结果表明，WAB-RVFL具有更优的泛化能力.

本文的组织结构如下：第1节对RVFL和贝叶斯子空间选择策略的原理进行介绍和分析；第2节对本文提出的WAB-RVFL进行详细介绍；第3节对WAB-RVFL的性能进行实验验证；第4节进行总结并给出未来研究工作.

2. 加权子空间的随机向量函数链接网络集成方法

BAB策略能够有效获得更均衡、更稳定的属性子空间，但由于RVFL网络结构具有输入层和输出层直连的特点，因此在训练过程中，输入属性具有线性映射和非线性映射两部分性质. 若简单将BAB和RVFL进行结合，则会忽略掉该线性映射部分的特性. 为了更好结合BAB策略与RVFL的网络结构特点，本文在BAB的基础上提出了加权子空间选择(weighted attribute bagging，WAB)策略，用以构造加权子空间的随机向量函数链接网络集成模型(weighted attribute bagging-based RVFL，WAB-RVFL).

2.1. 加权子空间选择策略

2.1.1. 属性加权矩阵

RVFL的网络结构具有输入层到输出层、隐含层到输出层两部分目标输出权重，因此其同时具有线性映射和非线性映射的特性. 对于BAB所得到的属性子空间，并不完全适合RVFL模型训练，为更贴合这两部分特性，应该采取有效的策略进行属性子空间的优化转换. 对适合线性映射部分的属性进行加权放大增强，对不适合线性映射部分的属性进行加权减小抑制，从而实现更优模型的训练.

为了得到用于集成模型训练的更有效的属性子空间，本文引入属性优化思想，提出属性加权矩阵的概念，用于属性子空间的加权转化，其形式为

其中D为子空间属性个数. 对于子空间输入样本X，利用属性加权矩阵对其进行属性加权，转化后的加权子空间可以表示为：

属性加权矩阵是一个对角阵，其对角线上的元素为子空间输入样本各个属性的加权. 在属性加权矩阵的作用下，针对于RVFL特有的两部分结构，若某些属性适合线性映射，则其属性加权应该增大；若某些属性适合非线性映射，则其属性加权应该减小. 如何找到合适的属性加权矩阵是加权子空间选择策略的核心.

2.1.2. 目标函数设计

在机器学习任务中，目标函数是一个用来衡量模型拟合程度的函数，通常如果函数值越小则表示模型的拟合效果越好. 如何有效最小化目标函数非常关键.

在属性加权矩阵的搜索过程中，本文利用训练集和验证集信息来构建目标函数，具体形式为：

其中：X和Y是训练集样本的输入值和真实值，$\widetilde{\boldsymbol{X}} $和$ \widetilde{\boldsymbol{Y}}$是验证集样本的输入值和真实值，g(·)表示激活函数. 为方便展示，(14)式省略了节点偏置，在实际计算中并不省略. 为更好进行目标函数优化，本文使用softmax函数计算各类标的概率值并采用均方误差(mean squared error，MSE)作为衡量标准.

为搜索最优的属性加权矩阵，本文选取粒子群优化(particle swarm optimization，PSO)算法^[14]进行迭代优化，利用搜索得到属性加权矩阵Q，使其对子空间的属性进行加权转化，起到增强或抑制的作用，从而获得加权后更优质、更适合RVFL网络结构的属性子空间.

2.2. WAB-RVFL算法流程

WAB-RVFL算法的核心是利用PSO迭代优化搜索得到最优的属性加权矩阵，为更好地展示WAB-RVFL算法，具体的流程如算法1所示.

算法1：WAB-RVFL算法
1 基于贝叶斯子空间选择(BAB)策略，得到K个属性子空间BAGs；
2 基于加权子空间选择(WAB)策略，对K个BAGs进行加权优化：
3 for k=1 to K do
4 基于属性子空间BAGk，进行PSO迭代更新搜索得到属性加权矩阵Qk；
5 利用属性加权矩阵Qk，对BAGk进行加权得到优化后的$\widetilde{\mathrm{BAG}}_k $.
6 end for
7 基于优化后的加权子空间，进行RVFL集成训练和预测：
8 基于K个$\widetilde{\mathrm{BAG}}_k $，构建K个RVFL模型；
9 for k=1 to K do
10 利用训练好的RVFLk，对新样本进行预测得到y^(k).
11 end for
12 对于K个RVFL的预测y⁽¹⁾，y⁽²⁾，…，y^(K)，计算信息量权重v₁，v₂，…，v_K并进行加权融合输出^[13]：
$ y=\sum\limits_{k=1}^K v_k y^{(k)}$

4. 结论与未来工作

本文基于RVFL输入层和输出层直连的结构特点，提出了一种有效的、鲁棒性更强的加权子空间的随机向量函数链接网络集成方法(weighted attribute bagging-based random vector functional link network，WAB-RVFL). 首先，基于贝叶斯子空间选择策略，对RVFL结构进行分析并提出合适的加权子空间选择策略，引入属性加权矩阵概念，构造有效的目标函数并利用PSO算法迭代优化；其次，设置3个实验验证了WAB-RVFL的可行性、合理性和有效性. 实验结果表明，PSO对目标函数迭代优化收敛证明了WAB-RVFL的可行性；在多个数据集下，3种基学习器的对比实验中Single WAB-RVFL预测性能更好，体现了WAB-RVFL的合理性；在7种RVFL模型的对比实验中，WAB-RVFL具有更高测试精度，验证了WAB-RVFL的有效性.

在本文中仍有部分内容值得进一步地探究，未来的工作展望主要有以下两点：

1) 其他智能算法的使用. 针对WAB-RVFL模型中使用到的经典PSO优化算法，探究是否能使用其他更优的智能算法进行模型的迭代优化，减少实验的开销，提升模型的性能；

2) 大规模数据的处理. WAB-RVFL模型具有并行运算的潜力，而目前在大数据时代下对模型精度以及运算效率要求都特别高，因此接下来将考虑是否能将本文提出的两种模型，在大数据框架下进行分布式计算，处理真实的大数据问题.

Figure (5) Table (2) Reference (16)

Name
	Name cannot be empty!
E-mail
	Mailbox cannot be empty! Mailbox cannot be empty!
Telephone
	Mobile number cannot be empty! Please enter a valid mobile number!
Title

Content
Verification Code

Message Board

Random Vector Function Link Network Ensemble Learning Method for Weighted Subspaces