-
文献[1]将神经网络应用于求解线性规划问题和旅行商问题;文献[2]引入了非线性规划电路,并利用有限的阀参数来解决非线性规划问题;随后文献[3]提出了基于拉格朗日方法的拉格朗日网络用于求解二次规划问题.但上述模型都是实空间上的,在实际问题中很多问题都涉及到复数信号[4-7].近年来,复空间上的分式规划问题得到了广泛研究[8-9].复数神经网络可以直接处理复数信号,目前神经动态优化算法主要是利用实数神经网络模型对实空间上的优化问题进行求解,很少有人利用复数神经网络模型研究复空间上的优化问题[10-11].
本文中复数神经网络神经元的状态、输出以及网络的权值都是复数,它能直接处理复数数据.复数域不仅提供了一种简明的表示方法,而且能够保持原始问题的物理特征.同时,将带有区间约束的约束条件通过变量替换和坐标平移转化为复平面上以原点为中心的圆环区域或矩形环区域,从而简化了约束条件,方便了之后的讨论.因此,直接利用复数解决问题的方法更优.
全文HTML
-
本文构造一个复数域上的RNN(recurrent neural network)模型,此模型同时适用于线性分式规划和非线性分式规划.现在讨论一般的复数非线性分式规划问题:
其中:g(z),h(z)是定义在一个开凸集O⊆
$\mathbb{C}$ n上的连续可微函数;x=Re(z)∈$\mathbb{R}$ n;y=Im(z)∈$\mathbb{R}$ n;a,b,c,d∈$\mathbb{R}$ n是常向量;可行解约束在W={z|a≤x≤b,c≤y≤d}中;z=(z1,z2,…,zn)T∈$\mathbb{C}$ n是决策向量即自变量.约定目标函数中的g(z)>0.实际生活中出现的分式规划问题大都具有广义凸性,目标函数F(z)在O处是伪凸的.考虑如下的一元递归神经网络,其状态变量z用以下微分方程表示[12]:
其中:▽是梯度算子,投影算子
$ f_{\mathrm{W}} : \mathbb{C}^{n} \longmapsto W$ 定义为$f_{\mathrm{w}}=\arg \min\limits _{\omega \in W}\| \mathit{\boldsymbol{z}}-\omega\|^{2}$ .令$ \mathit{\boldsymbol{z}}= \mathit{\boldsymbol{x}}+{\rm i} \mathit{\boldsymbol{y}}, {\rm i}=\sqrt{-1}$ 代表虚数单位,F(z)可以看作是由其实部和虚部组成的二变量实函数.由此,定义以下辅助函数,f(x,y):$\mathbb{R}^{n} \times \mathbb{R}^{n} \longmapsto \mathbb{R}^{n}$ ,其中:f(x,y)=F(z),z=x+iy.对于给定的w=(Re(zT),Im(zT))T,定义映射φ(z),且φ是可逆的,将z=φ-1(w)代入g(z),得到f(w)=F(φ-1(w)):
$\mathbb{R}^{2 n} \longmapsto \mathbb{R}^{n}$ .由
$ \mathit{\boldsymbol{x}}=\frac{( \mathit{\boldsymbol{z}} +\overline{ \mathit{\boldsymbol{z}}})}{2}, y=-{\rm i} \frac{( \mathit{\boldsymbol{z}}-\overline{ \mathit{\boldsymbol{z}}})}{2}$ ,可以得到F(z)=F(z,z):$\mathbb{C}^{n} \times \mathbb{C}^{n} \longmapsto \mathbb{R}^{n}$ ,其中z是z的复共轭.假设f(x,y)的偏导数$\frac{\partial f}{\partial \mathit{\boldsymbol{x}}}, \frac{\partial f}{\partial \mathit{\boldsymbol{y}}}$ 存在,则对复变量z和z的偏导数定义为如下形式:假设F(z)关于z和z是可微的,F(z)的复梯度定义为如下形式[13]:
由可行解集W的区间约束,算子fW可明确地表达为如下的形式:fW(z)=(fW1(z),…,fWn(z)),其中第i个分量是fWi(zi)=fRWi(xi)+ifIWi(yi).
又由
$ \mathit{\boldsymbol{z}}-\nabla F( \mathit{\boldsymbol{z}})= \mathit{\boldsymbol{x}}+{\rm i} \mathit{\boldsymbol{y}}-\frac{\partial f}{\partial \mathit{\boldsymbol{x}}} -\mathrm{i} \frac{\partial f}{\partial \mathit{\boldsymbol{y}}}=\left(x-\frac{\partial f}{\partial \mathit{\boldsymbol{x}}}\right)+\mathrm{i}\left( \mathit{\boldsymbol{y}}-\frac{\partial f}{\partial \mathit{\boldsymbol{y}}}\right)$ ,从而模型转化成如下形式即
记u=(Re(zT),Im(zT))T=(xT,yT)T∈
$\mathbb{R}^{2 n}, \nabla F(\boldsymbol{u})=\left(\frac{\partial f}{\partial \mathit{\boldsymbol{x}}}, \frac{\partial f}{\partial \boldsymbol{y}}\right)$ ,则模型(2)以n维复向量作为自变量,将复向量转化成2n维的实向量,从而实现了从复数神经网络模型向实数神经网络模型的转化.区间约束条件由原来的W={z|a≤x≤b,c≤y≤d}转化为W′={u|ai≤ ui≤bi,cj≤uj≤dj,i =1,2,…,n,j =n+1,n+2,…,2n}.
将RNN模型(7)应用于解决优化问题(1)时,要求初始状态应该能够被映射到W上,即对任意的u0=(x10,x20,…,xn0,y10,y20,…,yn0)∈
$\mathbb{R}^{2 n}$ ,相应的神经网络轨迹初始点应为u(0)=fW(u0). RNN模型(7)的平衡状态解集Ωe定义如下:在这里,通过w=(Re(z),Im(z))和v=(z,z)
$\stackrel{\varDelta}{=} \varphi( \mathit{\boldsymbol{z}}) \in \mathbb{C}^{2 n}$ 建立了复数与实数之间的转换.
-
定义1 设u(t)是系统
$\dot{ \mathit{\boldsymbol{u}}}$ =F(u)的一个解,如果当t→∞每一个开始于W′上的解u(t)满足则系统关于W′在U上是一致收敛的.其中ρ(u(t),U)=
$\inf\limits_ {a ∈U} $ ‖u-a‖,u(0)=u0∈W′.定义2 如果神经网络模型(7)相应的动力学系统是一致收敛的,则神经网络模型关于W′在U上是一致收敛的.
引理1[14] 对任意给定的初始点u(0;u0)=u0∈W′,模型(7)的解u(t;u0)是有界的,且这个解可以延伸到∞时间.
引理2[14] 对任意v∈
$\mathbb{R}^{2 n}$ ,u∈W′,有(v-fW(v))T(fW(v)-u)≥0.美国数学家LaSalle发现Lyapunov函数与Birkoff极限集之间的内在联系而提出了著名的不变原理.考虑自治系统
其中函数f(x)∈
$\mathbb{C}\left(\mathbb{R}^{n}, \mathbb{R}^{n}\right)$ ,f(0)=0.引理3 (LaSalle不变原理)[15] 设
$D \subseteq \mathbb{R}^{n}$ 是一个紧集,从D内出发的解x=φ(t;0,x0)恒在D中,若存在$\boldsymbol{V}(\boldsymbol{x}) \in C(D, \mathbb{R})$ ,使得$\left.\frac{{\rm d} \mathit{\boldsymbol{V}}}{{\rm d} t}\right|_{(10)} \leqslant 0$ ,又设$E=\left\{ \mathit{\boldsymbol{x}}\left|\frac{\mathrm{d} \boldsymbol{V}}{\mathrm{d} t}\right|_{(10)}=0, x \in D\right\}$ ,M⊆E是最大不变集,则当t→∞时,有φ(t;0,x0)→M.定理1 对于神经网络系统(7),有以下两个性质成立:
(a) 集合W′是正不变的;
(b) 若u0∉W′,则u(t)在有限时间内会进入集合W′,并从此保持在集合W′内,或当t→∞时,ρ(t)=dist(u(t),W′)→0成立,其中dist(u(t),W′)=
$\inf\limits_ {a ∈W′} $ ‖u-a‖.证 为了方便证明,以下自变量和函数值均表示成向量的分量形式.
记
首先证明对任意ui0=ui(0;u0)∈Wi,它在以后的任意时间内对每一个分量都有ui(t)=ui(t;u0)∈Wi成立.即对所有的t≥0,ui(t)∈Wi.
记
即t*表示ui(t)∈Wi的最晚时间,在t*之后至少存在一个t′使u′i(t′)∉Wi.所以要证明以上结论,只需证明
${\tilde{t}}$ =+∞,这就意味着ui(t)∈Wi永远成立.接下来使用反证法证明
${\tilde{t}}$ =+∞.假设${\tilde{t}}$ <∞,则当t∈[0,t*]时ui(t)∈Wi,当t∈(t*,t*+δ)时ui(t′)∉Wi,其中δ>0.不失一般性,不妨假设由fWi的定义及模型(7)和(13)式,可以得到
所以,ui(t)在t∈(t*,t*+δ)上都是严格单调递增的,因此
记当t∈[0,t*]时有ui(t)∈W′,又由(13)式知ui(ti*)=ai,所以由(15)式可以得到
由此得到矛盾.所以ti*=+∞,即对所有的t≥0,ui(t)∈Wi.这说明集合W′是正不变的,(a)得到保证.至于对ui(t) <ci,ui(t)>bi和ui(t)>di情况的证明类似于ui(t) <ai.在此不再赘述.
接下来证明若ui0=ui(0;u0)∉Wi,ui(t)最终也会收敛到W′中.
对于i,假设ui0=ui(0;u0)∉Wi,如果存在一个ti*>0使得u(ti*)∈Wi,则根据(a),当t≥ti*时总有u(ti*)∈Wi成立.现用反证法证明.
假设对所有的t≥0,ui(t)∉Wi.不失一般性,假设ui(t)<ai,则sup{ui(t)|t≥0}=ai.若不然,假设sup{ui(t)|t≥0}=m<ai,由模型(7)得到
从而
这与ui(t)<ai矛盾.因此sup{ui(t)|t≥0}=ai.
以上证明说明:若u0∉W′,则z(t)在有限时间内会进入集合W′,并从此保持在W′内,或当t→∞时,ρ(t)=dist(u(t),W′)→0成立,其中dist(u(t),W′)=
$\inf\limits_{ a ∈W′}$ ‖u-a‖.定理2 神经网络模型(7)的解集Ω*关于W′是一致收敛的.
证 由引理2,可得
令v=u-▽F(u),u=u,则
定义能量函数F(u),关于(7)式提出的z(t)=x(t)+iy(t)中的x(t)对函数进行微分计算,得到
根据(19)式进而得到
表明F(u)沿着系统(7)的轨线是单调递减的,u(t)是有界的,所以F(u)是系统(7)的Liapunov函数.
因此,由LaSalle正不变规则,所有开始于W′的系统(7)的轨线都将收敛到E的最大正不变子集Σ中,其中
由(22)式可知
$\frac{\mathrm{d} F}{\mathrm{d} t}=0$ 当且仅当fW(u-▽F(u))-u=0,这说明u(t)是模型(7)的平衡点或者说u(t)∈Ω,这里Ω=Ω*是神经网络模型(7)开始于W′的所有轨线的收敛集,从而定理2得证.
-
例 考虑如下的分式规划问题
F(z)的梯度为
其中:0≤x1≤2,1≤y1≤3,0≤x2≤2,1≤y2≤3,
$ \mathit{\boldsymbol{q}}=\left(\begin{array}{l}{3-2 {\rm i}} \\ {2+3 {\rm i}}\end{array}\right)$ .设
$v_{i}=x_{i}-\frac{\partial f}{\partial \mathit{\boldsymbol{x}}_{i}}, w_{i}=y_{i}-\frac{\partial f}{\partial \mathit{\boldsymbol{y}}_{i}}, i=1, 2$ 则由此得到动力系统方程如下:
设系统方程的初始点为(0,0,1,1)T,对应初始点的解为F*(z)=
$\frac{\mathrm{e}}{4}$ ,通过matlab程序计算,可以得到方程(24)的解为(x1,x2,y1,y2)T=(0.000 0,0.000 0,1.000 0,1.791 3)T.经过上述两种模型仿真实例可知,本文提出的神经网络模型在计算时,运行状态较好,对于任意初始点,模型的轨迹都会很快收敛于最优解(图 1).
-
本文针对带有区间约束的复变量非线性分式规划问题,提出了一个复数神经网络模型,通过证明可行解的收敛性证明了神经网络模型的稳定性.现有的基于罚函数的神经网络模型在解决非线性分式规划问题时可能会出现找不到精确解的情况,而本文提出的模型克服了这一缺陷.
下载: