-
中国古建筑彩画历史悠久,形成了以官式彩画为主体的大量区域性彩画样式,是我国古代建筑装饰艺术的主要表现形式之一. 但因建筑木制结构常年暴露于外部环境中,建筑彩画极易出现褪色、破甲、开裂等病害,现存的大量历史彩画保存现状堪忧. 为保护古建筑彩画遗产,各地学者通过数字摄影方式,以大量像片为载体记录彩画的现状信息. 但受限于图幅大小,像片难以兼顾彩画的清晰度与全局性,且对存储空间消耗极大,亟需一种准确且高效的彩画数据采集与数字化解决方案.
近年来,以数字摄影测量为基础并结合图像分割、矢量化等图像处理手段的贴近摄影测量方法,以其优异的模型完整度和建模精细度在文物保护领域成效斐然[1]. 目前的图像分割方法种类繁多[2-10],其中SVM算法在解决小样本、高维度问题上具有独特优势,是目前最受欢迎的分类算法之一,本文也将采用SVM作为分类算法,以供后续实验对比与分析.
高斯径向基函数(RBF)的SVM模型的分类性能主要受损失参数c与核函数参数g的影响. 为寻找最优训练参数,大量学者通过群智能优化算法来搜索模型最佳训练参数,以实现更高的分类精度)[11-14]. 麻雀搜索算法(sparrow search algorithm,SSA) [14]是一种新型的群智能优化算法. 相比于传统群体优化算法,SSA算法的控制参数少、局部开发能力较强. 但类似其它群优化算法,SSA算法同样存在早熟收敛、易陷入局部最优与边界计算等问题. 针对SSA算法存在的部分局限性,本文提出了一种多策略改进麻雀搜索算法(multi-strategy improved sparrow search algorithm,MISSA),用于优化SVM的参数选择过程、提高分类精度.
HTML
-
本文使用SLIC算法提取超像素,通过主成分分析(PCA)对融合多个色彩空间的颜色矩特征进行降维,利用MISSA算法优化SVM的初始训练参数,获取更加精确的分类结果. 算法的主要步骤如下:
1) 输入彩画图像,通过形态学重构处理,在保留边界信息的同时,滤除图像明暗噪声.
2) 通过网络搜索确定最佳分割步长与紧凑度,对去噪图像使用SLIC算法获取超像素分割结果.
3) 融合超像素区域内多色彩空间的颜色矩特征,并采用PCA算法进行特征降维.
4) 通过MISSA算法寻找最优训练参数,使用SVM获取精确分类结果.
5) 利用ArcGIS软件对分类结果进行矢量化.
-
形态学重构[4]通常用来突出图像中与掩膜图像相一致的部分,同时忽略图像中其它对象. 因此,通过与腐蚀、求补运算相结合,可对图像进行双边滤波,去除图像明暗噪声,并保留重要的区域轮廓信息. 其计算公式如下:
其中:I为图像某一波段的灰度图像,g为结构元素,R1为图I1的补像. 式(1)实现了对图像亮部噪声的剔除,式(2)则通过补像实现了图像暗部噪声的剔除. 最后,对I2进行求补,即可得到去噪图像.
-
超像素分割算法利用相邻像素间的特征相似性将像素组合成具有一定视觉意义的不规则像素块,用少量的超像素来代替像素表达图片特征,极大地降低了图像后处理的复杂度,是目前常用的图像分割预处理方法. 常用的超像素分割方法主要有分水岭算法[5]、均值漂移算法[6] (Mean Shift)与简单线性迭代聚类算法[7] (simple linear iterative clustering,SLIC)等,其中,SLIC算法因结构简单、结果紧凑且贴合边缘,是目前最常用的超像素分割算法之一. 本文通过网络搜索确定SLIC算法分割步长与紧凑度参数,以小块样本区域的边界重叠度作为适应度指标,采用过分割策略获取超像素结果,以保证分割的准确性.
-
彩画图像超像素区域分类主要依靠色彩特征的差异. 不同漆料色彩的RGB值差异明显,但光照变化等因素造成的漆面反光与边缘模糊问题会严重影响分类效果. 为降低光照等因素的影响,本文引入了颜色属性与光照强度独立的CIE-Lab和YCbCr色彩空间,共选取R,G,B,L,a,b,Y,Cb,Cr,Gray(0.2989R+0.587G+0.114B)共10个颜色分量用于后续的区域色彩统计.
由于图像颜色信息主要分布于低阶矩中,所以一般采用一阶矩(均值,Mean)、二阶矩(方差,Variance)、三阶矩(偏斜度,Skewness)便足以表达图像的颜色分布[15]. 因此,本文选择以上3种颜色矩统计超像素区域的色彩特征. 计算公式如下:
其中:N为一超像素区域内像素总数,Colori为超像素区域内第i个像素的某颜色分量值.
-
当特征维数增加,后续分类计算的复杂程度也会相应增加,对SVM分类的效率与精度影响极大. 因此,对特征进行适当的降维十分必要. 本文采用目前常用的主成分分析(PCA)方法,通过线性投影将高维特征映射至低维空间,并保证同一维度上特征的方差最大,以使用较少的特征维度,保留尽可能多的特征信息.
-
本文针对麻雀搜索算法存在种群缺乏多样性、易陷入边界计算、早熟收敛与收敛速度慢等问题做出了改进.
-
假设种群中存在n只麻雀,变量搜索空间为d维,则初始化种群与适应度可表示为:
原SSA算法通过伪随机数生成器初始化种群位置,但伪随机函数生成器的不确定性会严重降低种群的多样性. 混沌映射由于具有非线性、遍历性与长期不可预测性等特点,常被用于替代伪随机数生成器来优化搜索. 本文采用了其中性能较好的Tent混沌映射模型,通过建立映射关系将混沌序列转换至变量空间以替代原始种群. 其计算公式如下:
其中:r0为[0, 1]范围内的随机数,ri为第i个初始参数取值,a为(0,1)范围内的常数,xi,j为第i个个体在第j维的位置,bu为变量上界,bl为变量下界.
-
麻雀种群中,发现者具有高适应度,搜索范围更广,负责引导种群的觅食行为. 为了平衡算法的全局搜索与局部开发能力,本文在发现者位置更新公式中引入了幂数级递减的惯性权重. 改进后位置更新公式为:
其中:t为当前迭代次数;xi,jt表示在第t次迭代中第i只麻雀在第j维的位置;a为(0,1)范围内的均匀分布随机数;itermax是最大迭代次数;R为均匀分布随机数;ST为安全阈值;Q为符合标准正态分布的随机变量;L为1*d的元素全为1的矩阵;wmax与wmin为惯性权重取值范围;n为幂数级递减参数,当取1表现为线性递减,且n越大迭代前后的下降速率差异越大. 当R < ST时表明未发现捕食者,可以进行更广泛的搜索;反之代表发现捕食者,麻雀向安全区域转移.
-
加入者的适应度相对较低,会跟随发现者与其竞争食物,或飞往其它区域进行觅食. 其位置更新公式如下:
其中:xworestt为第t次迭代适应度最差的麻雀位置,xbestt为第t次迭代最佳位置,A表示1*d的元素随机为1或-1的矩阵,A+=AT(AAT)-1,L为1*d的元素全为1的矩阵. 当i>0.5 n时表示该麻雀为适应度较低的半数加入者,无法与发现者竞争,需飞往其他区域觅食;当i≤0.5 n时,加入者将与发现者竞争食物,前往最优个体附近觅食.
-
警戒者负责扩散警戒信号,一般选取种群中10%~20%的个体负责预警,其位置更新公式如下:
其中:β为控制步长,服从均值为0,方差为1的正态分布;k为[-1, 1]范围内的随机数;ε设置为一极小常数,以避免除零错误;fi为当前个体的适应值,fb与fw则分别表示目前最优与最差适应值. 当fi≠fb时,个体位于种群外围,需飞往种群中心;当fi=fb时,个体位于种群中心,它将向临近个体靠近,远离捕食者.
警戒者的存在是为了提升种群的全局搜索能力,但原SSA算法中警戒者的数量固定,会使算法后期的收敛速度变慢. 本文采用线性递减策略调节警戒者比例,其计算公式如下:
其中:Smax与Smin为警戒者的数量范围.
-
本研究引入以迭代次数t为自由度的T分布随机算子对最优麻雀个体的位置进行扰动,以防止种群陷入局部最优解. 计算公式如下:
当fi≥fb时,执行以上变异运算,其中:r为(0,1)范围内的随机数,T(t)为以迭代次数t为自由度的T分布随机数,pmax与pmin为变异概率的取值范围.
-
在SSA中,由于麻雀运动的随机性,常出现位置越界导致边界计算,缺乏对边界邻域的搜索. 本文使用一种随机回归的越界处理改善该问题,公式如下:
其中:bu与bl分别为变量x在数值的上界与下界,r为(0,1)范围内的均匀分布随机数. 这一处理方法会使越界回归具有一定的弹性,而不是单一的赋值变量的上下界,提高了种群的多样性.
-
多策略改进麻雀搜索算法(MISSA)的运算步骤如下.
Step1:根据公式(6)初始化种群与MISSA参数:种群数量popsize、最大迭代次数TMax、搜索参数的上下界bu与bl、惯性权重范围wmax与wmin、发现者比例Pd等参数.
Step2:计算初始种群适应度并排序,记录最优、最差适应度个体位置与适应度值:Xbest,fbest,Xworst,fworst.
Step3:根据公式(9)与公式(12)计算惯性权重与警戒者数量:w,S.
Step4:根据公式(8)更新发现者位置.
Step5:根据公式(10)更新加入者位置.
Step6:根据公式(11)更新警戒者位置.
Step7:根据公式(14)计算变异概率,根据公式(13)计算最优个体扰动后位置.
Step8:根据公式(15)进行越界后的边界计算.
Step9:更新适应度值并排序,更新最优、最差适应度个体位置与适应度值:Xbest,fbest,Xworst,fworst.
Step10:循环Step3-Step4,判断是否满足条件,满足则跳出循环.
Step11:算法结束,返回最优参数与适应度.
1.1. 图像预处理
1.1.1. 图像去噪
1.1.2. 超像素分割
1.2. 特征提取与降维
1.2.1. 多色彩空间的区域颜色矩
1.2.2. 特征降维
1.3. 多策略改进麻雀搜索算法
1.3.1. Tent混沌映射改进种群初始化
1.3.2. 引入幂数级递减惯性权重的发现者位置更新公式
1.3.3. 加入者位置更新公式
1.3.4. 引入警戒解除机制的警戒者位置更新公式
1.3.5. 线性递减的最优个体T分布变异
1.3.6. 随机回归的越界处理
1.3.7. MISSA算法实现步骤
-
本研究中使用的彩画图像属典型的昆明别子彩画样式[16],像片通过贴近摄影测量方式采集于昆明市龙泉观道教古建筑群. 实验采集设备为DJI Mini,其相机焦距24 mm,传感器尺寸1/2.3英寸,拍摄中心距物面约5米,采集了6个梁枋彩画对象共522张图像. 采用Context Capture软件对影像进行三维建模并生成正射影像,再利用Photoshop软件裁剪彩画主体. 影像三维建模结果示例如图 1所示.
本文的实验环境为:AMD Ryzen-5六核CPU、16G内存、Windows10操作系统、MATLAB 2018b、libsvm 3.25、Context Capture 10.17、ArcGIS 10.5.
-
为验证多色彩空间颜色矩特征不同组合方式对于分割精度的影响,本文对各单一色彩空间的色彩及其组合方式、降维处理进行精度对比. 通过人工筛选得到损失参数c为1,高斯核函数参数g为0.1,PCA取贡献率大于0.1%的主成分特征向量进行降维. 单一方法与不同组合方法的分类性能对比如表 1所示.
从表 1中可以发现,利用单一色彩空间的均值进行分类,分类精度平均可达到94.7%. 通过结合不同色彩空间特征,分类精度较单一RGB提升约1.9%. 而整合全部颜色矩特征后,特征维数达到30维,此时分类精度最高,达97.996%,但分类效率明显下降. 通过主成分分析进行特征降维后,特征维数下降至5维,分类精度几无损失,且分类用时明显降低. 实验表明,通过融合多色彩空间特征,改善了单一色彩空间因光照等因素造成的局限性,并且在使用低阶颜色矩统计特征并进行PCA降维后,分类精度与效率有明显提高.
-
本文通过多种改进策略来平衡与进一步挖掘SSA算法的全局搜索与局部开发能力,丰富种群多样性,提升算法收敛效率. 为验证改进算法的优化性能,将本文改进算法与PSO算法、WOA算法、SOA算法及原SSA算法进行对比. 通过3折交叉验证的验证精度作为适应度值,对一尺寸为831*217像素,共3687个超像素的小尺寸彩画图像分别进行10次实验,取最优与平均精度及平均用时进行对比. 为降低优化算法的时间成本,引入了精度停滞退出机制,当精度停滞增长num次后即跳出迭代. 实验图像共有8个色彩类别,各类别均匀采样15个样本. 算法公共参数设置为num=20,TMax=100,Popsize=20,c∈[0.1,100],g∈[0.01,10];PSO算法参数设置为c1=2,c2=2;WOA算法参数设置为b=0.8;SOA算法参数设置为fc=2,u=1,v=1;SSA算法参数设置为ST=0.6,Pd=0.7,S=0.2;本文算法算法参数设置为a=0.7,n=2,r1,0=0.8,r2.0=0.1,w∈[0.4,0.9],p∈[0.2,0.5],ST=0.6,Pd=0.7,S∈[0.05,0.2]. 各算法优化性能对比如表 2所示.
通过分析可得,SSA算法在分类精度上明显优于PSO经典算法,在平均耗时、精度均值与方差上优于WOA等新型最优化算法,体现出SSA算法在运算速度与输出稳定性上的优势. 此外,本文算法在精度上相较于原SSA算法提升约0.03%,精度方差提升约0.14%,且用时上节省0.17 s. 实验表明本文算法较原SSA算法进一步改善了算法优化性能与稳定性,加快了算法的迭代收敛速度,相较于原算法在稳定性与收敛速度上表现出明显优势.
-
本文从数据集中选取了两幅不同规模的彩画图像进行实验,图像信息如表 3所示. 将本文算法与PSO-SVM[11]、GA-PSO-SVM[17]、原SSA-SVM[14]以及PSO-RF进行对比实验. 其中基于SVM的算法训练参数依旧采用2.3小节的设置,PSO-RF算法的PSO参数与PSO-SVM一致,RF的超参数取值为决策树棵数范围[5, 50],属性特征集大小范围[5, 20]. 图像分类结果的精度评价采用总体分类精度与Kappa系数进行评价,各算法分类结果对比如图 2与表 4、表 5所示.
分析表中数据可发现,PSO-RF实验精度仅次于本文算法,但由于决策树规模对分类效率的影响,导致其处理效率极其低下. 综合实验数据来看,本文算法分割精度最高,分类效率也优于其它对比算法,总体分类精度分别高于原SSA算法3.13%与5.87%,Kappa系数优于原算法0.073 8与0.065 8,迭代次数与原算法相近的情况下,分类用时节省了2.08 s与1.41 s,效率提升约27%.
-
将彩画分割结果进行矢量化后,可对彩画的图案、轮廓与色彩信息更加便捷地保存与分析. 本文将修正后的分割结果输出为类别掩膜,利用ArcGIS软件将其转换为矢量面要素,并进行坐标校正与适当平滑,可将分割后的栅格信息转换为以*.shp与*.dwg格式保存的矢量数据文件. 转换结果如图 3所示.
-
通过分析上述实验结果,大致可发现以下问题:
1) 本文基于边界重叠度网络搜索超像素分割最优参数的方法极为有效,可直接做到以样本最小目标尺度进行图像过分割. 但由于未加入任何融合策略,还无法实现多尺度分割,须在今后的研究中加以改善.
2) 融合多个色彩空间低阶矩特征的分类结果有明显改善,通过利用分离亮度与色相的lab与YCbCr色彩空间信息,降低了过曝等图像噪声影响. 再通过适当的特征降维,可有效提高分类的精度与效率.
3) 整体来看,本文提出的算法在原SSA算法基础上,通过改善种群多样性与平衡全局与局部搜索能力等措施,在算法稳定性与效率上改进效果明显,在彩画分类实验中表现优异. SSA算法属新型智能优化算法,在具体应用上存在大量改进空间,本文部分改进思路同样适用于其它群体智能算法应用方向,并值得深入探究.
4) 彩画图像分割结果锯齿化严重,需利用合适的平滑方法,才能得到轮廓平滑且准确的矢量化结果,但本文通过软件人工设定平滑参数的方法较为繁琐,难以平衡结果精度与线条精简间的目的冲突,这是目前研究中需加以改进的地方.
2.1. 实验数据
2.2. 颜色矩特征组合分类结果对比
2.3. 改进麻雀优化SVM分析
2.4. 彩画图像分割结果对比
2.5. 分割结果矢量化
2.6. 结果分析
-
本文通过融合多色彩空间颜色矩统计特征,改进图像分割与分类算法,有效地提升了图像的分割效率与精度,为古建筑彩画等古代艺术的传承与保护提供了一种新思路,为建筑彩画艺术研究提供了新工具,具有一定的研究与应用价值.