留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

求解不同阶对称张量组特征值的带位移高阶幂法

上一篇

下一篇

张小双, 陈震, 刘奇龙. 求解不同阶对称张量组特征值的带位移高阶幂法[J]. 西南大学学报(自然科学版), 2020, 42(8): 81-87. doi: 10.13718/j.cnki.xdzk.2020.08.011
引用本文: 张小双, 陈震, 刘奇龙. 求解不同阶对称张量组特征值的带位移高阶幂法[J]. 西南大学学报(自然科学版), 2020, 42(8): 81-87. doi: 10.13718/j.cnki.xdzk.2020.08.011
Xiao-shuang ZHANG, Zhen CHEN, Qi-long LIU. Shifted Symmetric Higher-Order Power Method for Computing Eigenvalues of Multiple Order Symmetric Tensors[J]. Journal of Southwest University Natural Science Edition, 2020, 42(8): 81-87. doi: 10.13718/j.cnki.xdzk.2020.08.011
Citation: Xiao-shuang ZHANG, Zhen CHEN, Qi-long LIU. Shifted Symmetric Higher-Order Power Method for Computing Eigenvalues of Multiple Order Symmetric Tensors[J]. Journal of Southwest University Natural Science Edition, 2020, 42(8): 81-87. doi: 10.13718/j.cnki.xdzk.2020.08.011

求解不同阶对称张量组特征值的带位移高阶幂法

  • 基金项目: 国家自然科学基金项目(11671105);贵州省科学技术基金重点项目([2020]1Z002);贵州师范大学2017年博士科研启动项目(GZNUD[2017]26号)
详细信息
    作者简介:

    张小双(1993-),女,硕士研究生,主要从事数值代数的研究 .

    通讯作者: 陈震,教授,博士研究生导师; 
  • 中图分类号: O151.23

Shifted Symmetric Higher-Order Power Method for Computing Eigenvalues of Multiple Order Symmetric Tensors

  • 摘要: 求解不同阶对称张量组的特征值和特征向量问题在超图匹配中具有重要的作用.首先,基于求解对称张量Z-特征值的带位移高阶幂法(SS-HOPM),利用系数张量组构造一个带位移因子的辅助函数,将求解不同阶对称张量组的特征值问题转化为求解辅助函数的极值点问题,提出了求解不同阶对称张量组特征值和特征向量的带位移高阶幂法.其次,利用凸函数的性质和单调有界原理,讨论了辅助函数的性质,确定了位移因子的取值范围,使得所给算法是收敛的.最后,通过数值算例对理论结果进行了验证,数值结果表明所提出的算法是有效的,并且该算法也能有效求出不同阶对称非半正定张量组的特征值和特征向量.
  • 加载中
  • 表 1  例1不同阶对称张量组{A3A2}的实特征对

    λxT
    0.874 5[-0.392 0 0.724 6 0.566 8]
    0.431 4[-0.718 8-0.125 8-0.683 7]
    0.229 8[-0.845 80.437 1-0.305 9]
    0.019 4[0.714 9 0.507 7-0.480 8]
    0.004 3[0.449 9 0.775 2-0.443 5]
    0.002 8[0.328 5 0.628 5-0.705 0]
    0.001 4[0.285 4 0.737 0-0.612 7]
    0.000 3[-0.296 0-0.734 9 0.610 1]
    -0.000 9[-0.332 7-0.634 3 0.697 8]
    -0.002 2[-0.445 5-0.772 7 0.452 2]
    -0.016 6[-0.711 4-0.510 9 0.482 6]
    -0.229 1[0.843 4-0.440 1 0.308 1]
    -0.429 8[0.718 7 0.123 2 0.684 4]
    -0.871 5[0.392 3-0.725 2-0.565 9]
    下载: 导出CSV

    表 2  例1算法2的数值结果

    αOccurrencesλxTIter
    0630.874 5[-0.392 0 0.724 6 0.566 8]16
    370.431 4[-0.718 8-0.125 8-0.683 7]198
    1420.874 5[-0.392 00.724 6 0.566 8]31
    280.431 4[-0.718 8-0.125 8-0.683 7]50
    110.019 4[0.714 9 0.507 7-0.480 8]108
    190.000 3[-0.296 0-0.734 9 0.610 1]147
    9.357 7380.874 5[-0.392 0 0.724 6 0.566 8]185
    290.431 4[-0.718 8-0.125 8-0.683 7]334
    210.019 4[0.714 9 0.507 7-0.480 8]953
    120.000 3[-0.296 0-0.734 9 0.610 1]1 206
    下载: 导出CSV

    表 3  例2不同阶对称张量组{A3A2}的实特征对

    λxT
    2.750 1[0.507 7-0.571 1-0.645 0]
    0.785 9[0.492 6 0.237 3 0.837 3]
    0.120 1[0.934 5-0.127 0 0.332 5]
    -0.853 3[-0.448 8 0.762 8-0.465 5]
    -0.994 2[-0.183 3 0.566 6-0.803 4]
    -1.291 8[-0.495 8-0.506 5 0.705 4]
    -1.339 6[-0.152 8-0.818 3 0.554 1]
    -2.653 1[-0.689 3 0.469 2 0.552 0]
    下载: 导出CSV

    表 4  例2算法2的数值结果

    αOccurrencesλxTIter
    0652.750 1[0.507 7-0.571 1-0.645 0]28
    35--4 000
    3562.750 1[0.507 7-0.571 1-0.645 0]34
    440.785 9[0.492 6 0.237 30.837 3]29
    28.735 6632.750 1[0.507 7-0.571 1-0.645 0]228
    370.785 9[0.492 6 0.237 30.837 3]241
    下载: 导出CSV

    表 5  例3算法2的数值结果

    αOccurrencesλIter
    0100-4 000
    2471.157 9201
    531.157 5202
    28.803 1551.157 91 550
    451.157 51 535
    下载: 导出CSV
  • [1] doi: https://www.polyu.edu.hk/ama/staff/new/qilq/qi-eigen-1.pdf QI L Q. Eigenvalues of a Real Supersymmetric Tensor[J]. Journal of Symbolic Computation, 2005, 40(6): 1302-1324.
    [2] doi: https://epubs.siam.org/doi/abs/10.1137/S0895479801387413 KOFIDIS E, REGALIA P A. On the Best Rank-1 Approximation of Higher-Order Supersymmetric Tensors[J]. SIAM Journal on Matrix Analysis and Applications, 2002, 23(3): 863-884.
    [3] COUR T, SRINIVASAN P, SHI J B. Balanced Graph Matching[M] //Advances in Neural Information Processing Systems. Cambridge: The MIT Press, 2007: 313-320.
    [4] 杨占英, 于云霞.高维张量积Meyer小波的一种新分解(英文)[J].西南大学学报(自然科学版), 2012, 34(2): 74-77. doi: http://xbgjxt.swu.edu.cn/article/id/jsunsz20120213
    [5] doi: https://www.aimsciences.org/article/doi/10.3934/dcdsb.2017009 WANG G, ZHOU G L, CACCETTA L. Z-Eigenvalue Inclusion Theorems for Tensors[J]. Discrete and Continuous Dynamical Systemsseries, 2017, 22(1): 187-198.
    [6] doi: https://link.springer.com/article/10.1186/s13660-017-1428-6 WANG Y N, WANG G. Two S-Type Z-Eigenvalue Inclusion Sets for Tensors[J]. Journal of Inequalities and Applications, 2017, 2017: 152.
    [7] 刘蕊, 陈震, 刘奇龙.判定对称强H-张量的迭代算法[J].贵州师范大学学报(自然科学版), 2019, 37(3): 72-76. doi: http://www.cqvip.com/QK/96121A/20193/7001930030.html
    [8] 何军, 刘衍民.张量伪谱的新包含域[J].西南师范大学学报(自然科学版), 2019, 44(8): 7-10.
    [9] 钟琴.非负矩阵最大特征值的新界值[J].西南大学学报(自然科学版), 2018, 40(2): 40-43. doi: http://xbgjxt.swu.edu.cn/article/doi/10.13718/j.cnki.xdzk.2018.02.007
    [10] 闫逸波, 陈震.一类张量方程的基于梯度的迭代方法[J].贵州师范大学学报(自然科学版), 2017, 35(3): 59-62. doi: http://www.cnki.com.cn/Article/CJFDTotal-NATR201703009.htm
    [11] doi: https://ui.adsabs.harvard.edu/abs/2017arXiv170200391D/abstract DUTTA A, LLADÓS J, BUNKE H, et al. Product Graph-Based Higher Order Contextual Similarities for Inexact Subgraph Matching[J]. Pattern Recognition, 2018, 76: 596-611.
    [12] doi: https://www.cs.cornell.edu/~arb/papers/3evec-SIMODS-2019.pdf BENSON A R. Three Hypergraph Eigenvector Centralities[J]. SIAM Journal on Mathematics of Data Science, 2019, 1(2): 293-312.
    [13] BENSON A R, GLEICH D F, LESKOVEC J. Tensor Spectral Clustering for Partitioning Higher-Order Network Structures[C] //Proceedings of the 2015 SIAM International Conference on Data Mining, Philadelphia, PA: Society for Industrial and Applied Mathematics, 2015: 118-126.
    [14] doi: https://link.springer.com/article/10.1007/s11263-018-01147-z SHI X C, LING H B, PANG Y, et al. Rank-1 Tensor Approximation for High-Order Association in Multi-Target Tracking[J]. International Journal of Computer Vision, 2019, 127(8): 1063-1083.
    [15] doi: https://ieeexplore.ieee.org/document/5871640 DUCHENNE O, BACH F, KWEON I S, et al. A Tensor-Based Algorithm for High-Order Graph Matching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12): 2383-2395.
    [16] doi: https://prod-ng.sandia.gov/techlib-noauth/access-control.cgi/2010/106131.pdf KOLDA T G, MAYO J R. Shifted Power Method for Computing Tensor Eigenpairs[J]. SIAM Journal on Matrix Analysis and Applications, 2011, 32(4): 1095-1124.
  • 加载中
表( 5)
计量
  • 文章访问数:  990
  • HTML全文浏览数:  990
  • PDF下载数:  186
  • 施引文献:  0
出版历程
  • 收稿日期:  2019-12-28
  • 刊出日期:  2020-08-20

求解不同阶对称张量组特征值的带位移高阶幂法

    通讯作者: 陈震,教授,博士研究生导师; 
    作者简介: 张小双(1993-),女,硕士研究生,主要从事数值代数的研究
  • 贵州师范大学 数学科学学院,贵阳 550025
基金项目:  国家自然科学基金项目(11671105);贵州省科学技术基金重点项目([2020]1Z002);贵州师范大学2017年博士科研启动项目(GZNUD[2017]26号)

摘要: 求解不同阶对称张量组的特征值和特征向量问题在超图匹配中具有重要的作用.首先,基于求解对称张量Z-特征值的带位移高阶幂法(SS-HOPM),利用系数张量组构造一个带位移因子的辅助函数,将求解不同阶对称张量组的特征值问题转化为求解辅助函数的极值点问题,提出了求解不同阶对称张量组特征值和特征向量的带位移高阶幂法.其次,利用凸函数的性质和单调有界原理,讨论了辅助函数的性质,确定了位移因子的取值范围,使得所给算法是收敛的.最后,通过数值算例对理论结果进行了验证,数值结果表明所提出的算法是有效的,并且该算法也能有效求出不同阶对称非半正定张量组的特征值和特征向量.

English Abstract

  • A是一个mn维的实张量,即

    其中[n]={1,2,…,n},[m]={1,2,…,m}.记R[mn]mn维实张量的全体构成的集合.

    Πm是由指标{1,2,…,m}的所有置换构成的集合.如果对Πm中的任意置换π,有

    则称A为对称张量[1].

    近年来,关于张量的研究受到了广泛的关注[2-10].由于张量Z-特征值在图匹配[11]、数据挖掘[12-13]和目标跟踪[14]等许多实际问题中有着重要应用,张量Z-特征值问题逐渐成为张量谱理论研究的热点问题.下面给出张量Z-特征值的定义.

    定义1[1]  设AR[mn]是实对称张量,如果存在λ∈ℝ和非零向量x=(x1,…,xn)T∈ℝn,使得

    则称λA的一个Z-特征值,x为与λ相对应的Z-特征向量,称(λx)为A的一个Z-特征对,其中n维向量Axm-1的第i个分量为

    文献[15]在研究基于张量算法的高阶图匹配时提出了包含边和超边的匹配模型,该模型可导出如下不同阶对称张量组特征值问题:

    定义2  设AiR[in]是实对称张量,i=2,3,如果存在λ∈ℝ和非零向量x∈ℝn,使得

    则称λ为不同阶对称张量组{Ai}i=23的一个特征值,x为与λ相对应的特征向量,称(λx)是不同阶对称张量组{Ai}i=23的一个特征对.

    本文讨论求解不同阶对称张量组特征值问题(1)的带位移高阶幂法,并给出其收敛性分析.

  • 本节首先回顾求解对称张量Z-特征值的带位移高阶幂法,随后给出求解不同阶对称张量组特征值的带位移高阶幂法.在此之前,先给出一个记号.设AR[mn]x=(x1,…,xn)T∈ℝn,记

    文献[16]提出了如下求解对称张量Z-特征值的带位移高阶幂法(SS-HOPM):

    算法1[16]  求解对称张量Z-特征值的带位移高阶幂法(SS-HOPM).

    输入:mn维对称张量A,位移α∈ℝ.

    输出:A的Z-特征值λk+1.

    初始化:任取非零向量x0∈ℝn,使得‖x02=1.令λ0=Ax0m.

    for k=0,1,…,do

           xk+1Axkm-1+αxk

           xk+1xk+1/‖xk+12

           λk+1=Axk+1m

    end for

    考虑(1)式,显然有

    为了求λ,构造辅助函数

    其中α∈ℝ,xΩ={x∈ℝnxTx=1}.由文献[16]的引理3.1知(2)式中f(x)的梯度为

    xΩ

    下面给出求解不同阶对称张量组特征值问题(1)的带位移高阶幂法:

    算法2  求解不同阶对称张量组特征值的带位移高阶幂法.

    输入:张量A3A2,位移α,允许误差ε.

    输出:{Ai}i=23的特征对(λk+1xk+1).

    初始化:任取非零向量x0∈ℝn,使得‖x02=1.令$f\left( {{\mathit{\boldsymbol{x}}_0}} \right) = \frac{1}{3}{\mathit{\boldsymbol{A}}_3}\mathit{\boldsymbol{x}}_0^3 + \frac{1}{2}{\mathit{\boldsymbol{A}}_2}\mathit{\boldsymbol{x}}_0^2 + \frac{1}{3}\alpha $.

    for k=0,1,…,do

           xk+1A3xk2+A2xk+αxk

           xk+1xk+1/‖xk+12

           f(xk+1)=$\frac{1}{3}{\mathit{\boldsymbol{A}}_3}\mathit{\boldsymbol{x}}_{k + 1}^3 + \frac{1}{2}{\mathit{\boldsymbol{A}}_2}\mathit{\boldsymbol{x}}_{k + 1}^2 + \frac{1}{3}\alpha $

           if |f(xk+1)-f(xk)|<ε,且‖xk+1-xk2ε

                 break.

           end if

    end for

  • 本节讨论算法2的收敛性.首先给出一些引理.

    引理1[16]  可微函数f(x):Υ⊆ℝnℝ是凸函数当且仅当Υ是凸集,且对任意xyΥ均有

    引理2[16]  二阶可微函数f(x):Υ⊆ℝn→ℝ是凸函数当且仅当Υ是凸集,且f(x)的Hessian矩阵在Υ上是半正定的,即对任意xΥ$\nabla$2f(x)是半正定矩阵.

    定理1  设A3R[3,n]是对称张量,A2R[2,n]是对称半正定矩阵,ρ(A2)是A2的谱半径,Φ(A3)=$2\mathop {\max }\limits_{x \in \mathit{\Omega }} \rho \left( {{\mathit{\boldsymbol{A}}_3}\mathit{\boldsymbol{x}}} \right)$,若αΦ(A3)+ρ(A2),则由算法2得到的序列$\left\{ {f\left( {{\mathit{\boldsymbol{x}}_k}} \right)} \right\}_{k = 0}^\infty $是单调不减序列且有上界,因此该序列有极限f(x*),即$\mathop {\lim }\limits_{k \to \infty } $f(xk)=f(x*),x*Ω.进一步,有

    即(λ*x*)是不同阶对称张量组{A3A2}的特征对.

      由文献[16]中引理3.3知,f(x)的Hessian矩阵为

    其中I表示单位矩阵.对任意yΩ$\mathit{\boldsymbol{\bar x}} = \frac{\mathit{\boldsymbol{x}}}{{{{\left\| \mathit{\boldsymbol{x}} \right\|}_2}}} \in \mathit{\Omega }$,由

    知,f(x)的Hessian矩阵H(x)是半正定矩阵.因此,由引理2知f(x)是ℝn上的凸函数.

    αΦ(A3)+ρ(A2)知,对任意xΩ$\nabla$f(x)≠0.对xkxk+1Ω${\mathit{\boldsymbol{x}}_{k + 1}} = \frac{{\nabla f\left( {{\mathit{\boldsymbol{x}}_k}} \right)}}{{{{\left\| {f\left( {{\mathit{\boldsymbol{x}}_k}} \right)} \right\|}_2}}}$,由引理1得

    故序列$\left\{ {f\left( {{\mathit{\boldsymbol{x}}_k}} \right)} \right\}_{k = 0}^\infty $是单调不减的.又由xkΩ

    f(x)是有界函数.因此序列$\left\{ {f\left( {{\mathit{\boldsymbol{x}}_k}} \right)} \right\}_{k = 0}^\infty $有极限f(x*),即有

    因为x*f(x)的极值点,所以$\nabla$f(x*)=0.因此x*是不同阶对称张量组{A3A2}的特征向量,λ*=A3x*3+A2x*2是相应的特征值,故(λ*x*)是一个特征对.

    在下一节的数值试验中,可以选取$\alpha = 2\sum\limits_{i, j, k \in [n]} {\left| {{a_{ijk}}} \right|} + \rho \left( {{\mathit{\boldsymbol{A}}_2}} \right)$.原因是∀yΩ,由三角不等式有

    所以

    这保证了α大于Φ(A3)+ρ(A2),满足定理1中的收敛条件.事实上,选取适当的α可以使算法收敛得更快,详见下一节的数值例子.

  • 本节给出3个数值算例验证算法2的有效性.共作100次数值试验,每次试验随机选取不同的初始向量x0,且元素服从[-1, 1]的均匀分布,迭代终止的条件为ε=10-8或达到最大迭代步数4 000. Occurrences表示在进行的100次试验中求出特征值的次数,Iter表示平均迭代次数.

    例1  设A3=(aijk)∈R[3,3]是对称张量,A2=(bij)∈R[2,3]是对称正定矩阵,且

    求解不同阶对称张量组{A3A2}的实特征对等价于求解非线性方程组

    用Mathematic软件中的NSolve命令求解方程组(3),得到14个不同的实特征对,见表 1.

    下面验证算法2的有效性.数值结果见表 2.

    表 2知,在进行的100次数值试验中,不带位移(α=0)的算法2计算出了表 1中的两个特征值.而算法2在分别取α=1和$\alpha = 2\sum\limits_{i, j, k \in [3]} {\left| {{a_{ijk}}} \right|} + \rho \left( {{\mathit{\boldsymbol{A}}_2}} \right)$=9.357 7时,100次试验都能有效地找到14个特征值中的4个.

    例2  设A3=(aijk)∈R[3, 3]是对称张量,A2=(bij)∈R[2, 3]是对称矩阵,且

    用NSolve命令求解方程组(3),得到不同阶对称张量组{A3A2}的8个不同的实特征对,见表 3.

    下面验证算法2的有效性.数值结果见表 4.

    表 4知,在进行的100次数值试验中,不带位移(α=0)的算法2仅有65次收敛到特征值λ=2.750 1,其余35次在迭代到4 000步时计算不出特征值.而算法2在分别取α=3和$\alpha = 2\sum\limits_{i, j, k \in [3]} {\left| {{a_{ijk}}} \right|} + \rho \left( {{\mathit{\boldsymbol{A}}_2}} \right)$=28.735 6时,100次试验都能有效地找到8个特征值中最大的2个.

    图匹配中的不同阶对称张量组大多是大型稀疏张量.下面给出高维稀疏不同阶对称张量组的例子用以检验算法2的有效性.

    例3  设A3=(aijk)∈R[3, 100]A2=(bij)∈R[2, 100]是随机生成的稀疏对称张量,非零元的个数都是150个,其中每个元素服从[0, 1]的均匀分布.由算法2得到的数值结果见表 5.

    表 5可见,在进行的100次数值试验中,不带位移(α=0)的算法2在迭代到4 000步时计算不出特征值.在算法2中分别取α=2和$\alpha = 2\sum\limits_{i, j, k \in [100]} {\left| {{a_{ijk}}} \right|} + \rho \left( {{\mathit{\boldsymbol{A}}_2}} \right)$=28.803 1,每次试验均有效地求出特征值λ=1.157 9或λ=1.157 5,且α=2时的迭代次数比α=28.803 1时的迭代次数少.例3表明,算法2在高维情形下效果也较好.

    以上数值例子表明,带位移的算法2对任意对称张量A3A2构成的不同阶对称张量组{A3A2}都是有效的.由文献[16]的引理4.1知$2\sum\limits_{i, j, k \in [n]} {\left| {{a_{ijk}}} \right|} > \mathit{\Phi }\left( {{\mathit{\boldsymbol{A}}_3}} \right)$.取$\alpha = 2\sum\limits_{i, j, k \in [n]} {\left| {{a_{ijk}}} \right|} + \rho \left( {{\mathit{\boldsymbol{A}}_2}} \right)$,算法2收敛,此时的α远大于Φ(A3)+ρ(A2),因此取适当的α,算法2计算得更快.而且在100次试验中总能计算出不同阶对称张量组{A3A2}的最大特征值.

  • 本文给出了求解不同阶对称张量组{Ai}i=23特征对的带位移高阶幂法,即算法2.该算法通过构造辅助函数f(x)将问题(1)中求特征向量问题转化为求辅助函数的极值点问题.然后,将此辅助函数f(x)的梯度$\nabla$f(x)作为迭代格式,使得算法2收敛.与不带位移(α=0)的算法相比,带位移的算法2能更有效地求出不同阶对称张量组{Ai}i=23的实特征对.但是α的选取对迭代次数影响很大,如何选取最佳的α将是我们下一步的研究工作.

参考文献 (16)

目录

/

返回文章
返回