本节主要介绍一些基本的概念和结论，为后面的研究作准备.

设$ q(x) \in C(\bar{\varOmega})$，考虑如下特征值问题

根据文献[10-11]可知，问题(4)的所有特征值满足$\lambda_{1}(q) <\lambda_{2}(q) \leqslant \lambda_{3}(q) \leqslant \cdots \rightarrow \infty $，相应的特征函数为φ₁，φ₂，φ₃…，其主特征值

是单重的.对j≥1，若q₁≥q₂，则λ_j(q₁)≥λ_j(q₂)，且若$ q_{1} \not \equiv q_{2}$，则λ_j(q₁)>λ_j(q₂).记λ₁(0)=λ₁，相应的主特征函数记作φ₁(φ₁>0，x∈Ω).

考察非线性边值问题

根据文献[12]知，如果r>λ₁，则方程(5)有唯一正解，记为θ_r，且0 < θ_r < r.对于r∈(λ₁，+∞)，映射$r \longrightarrow \theta_{r} $是连续的，且若r₁ < r₂，则θ_r1 < θ_r2.因此对于边值问题

当r>λ₁时，问题(6)有唯一正解$ \frac{k}{k+e} \theta_{r}$，记为θ_r^*.

考虑非线性边值问题

由文献[13]知，当m < min{b²，ab}且$a>\lambda_{1}+\frac{m}{b} $时，问题(7)存在唯一正解，记为θ_a^*.

根据以上对于问题(6)，(7)的讨论知：如果m < min{b²，ab}且$a>\lambda_{1}+\frac{m}{b} $，那么系统(3)存在半平凡解(θ_a^*，0);如果r>λ₁，那么系统(3)存在半平凡解(0，θ_r^*).

下面给出系统(3)正解存在的必要性条件.

引理1   设m < min{b²，ab}.如果(u，v)是系统(3)的正解，则$a>\lambda_{1}+\frac{m}{b}, r>\lambda_{1} $.

证   在系统(3)中关于u的方程两端同乘u，并在Ω上积分得

由Poincaré不等式得$ a-\frac{m}{b}>\lambda_{1}$，即$a>\lambda_{1}+\frac{m}{b} $.同理可证r＞λ₁.

利用上下解方法和极大值原理易得系统(3)正解的先验估计，即下面的引理2.

引理2   设m < min{b²，ab}.如果(u，v)是系统(3)的正解，则

在本节最后，我们给出下面的引理.

引理3   设L₀是问题(6)在θ_r^*处的线性化算子，即$ L_{0}=-\Delta-r+2\left(1+\frac{e}{k}\right) \theta_{r}^{*}$.如果r>λ₁，那么L₀的所有特征值均大于0.

证  由r＞λ₁知，θ_r^*是$-\Delta v=v\left(r-v-\frac{e}{k} v\right) $的唯一正解，于是$ \lambda_{1}\left(-\Delta-r+\left(1+\frac{e}{k}\right) \theta_{r}^{*}\right)=0$，从而$\lambda_{1}\left(-\Delta-r+2\left(1+\frac{e}{k}\right) \theta_{r}^{*}\right)>\lambda_{1}\left(-\Delta-r+\left(1+\frac{e}{k}\right) \theta_{r}^{*}\right)=0 $.因此，L₀的所有特征值均大于0.

本节分别以a和r为分歧参数，研究系统(3)发自半平凡解的分歧解.

先以a为分歧参数，讨论系统(3)发自半平凡分支$\left\{\left(a ; 0, \theta_{r}^{*}\right): a \in \mathbb{R}^{+}\right\} $的局部分支.为了应用分歧理论，引入空间

其中$C_{0}^{1}(\bar{\varOmega})=\left\{u \in C^{1}(\bar{\varOmega}): u=0, x \in \partial \varOmega\right\} $.

设${\tilde{a}} $是边值问题

的主特征值，ϕ₁>0为相应的特征函数.

定理1   设r>λ₁，则$ \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$是系统(3)的分歧点，且在$ \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$的邻域内，系统(3)存在正解，其中${\tilde{a}} $由(8)式给出.

证   定义算子$A: \mathbb{R}^{+} \times X \longrightarrow X $为

则A(a; u，v)为X上的可微算子.令$L\left(\tilde{a} ; 0, \theta_{r}^{*}\right)=D A_{(u, v)}\left(\tilde{a} ; 0, \theta_{r}^{*}\right) $，则

因此$L\left(\tilde{a} ; 0, \theta_{r}^{*}\right)(\xi, \eta)=0 $等价于

若ξ≡0，则η≡0，故ξ $ \equiv$ 0，从而由前面$w_{3, 2}^{1} $的定义知，ξ=ϕ₁.由引理3知，L₀的所有特征值均大于0，所以$\eta=\psi_{1}=L_{0}^{-1}\left(\frac{e\left(\theta_{r}^{*}\right)^{2}}{k^{2}} \phi_{1}\right) $，其中L₀^-1是算子L₀的逆算子.利用最大值原理可知，ψ₁>0.因此$L \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$的核空间$ N\left(L\left(\tilde{a} ; 0, \theta_{r}^{*}\right)\right)=\operatorname{span}\left\{\left(\phi_{1}, \psi_{1}\right)\right\}$.

令$L^{*}\left(\tilde{a} ; 0, \theta_{r}^{*}\right) $为$L \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$的伴随算子，则

于是$L^{*}\left(\tilde{a} ; 0, \theta_{r}^{*}\right) $(ξ，η)=0等价于

显然，η=0，ξ=ϕ₁，从而$N\left(L^{*}\left(\tilde{a} ; 0, \theta_{r}^{*}\right)\right)=\operatorname{span}\left\{\left(\phi_{1}, 0\right)\right\} $.由Fredholm选择定理可知，$L \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$的值域$ R\left(L\left(\tilde{a} ; 0, \theta_{r}^{*}\right)\right)=\left\{(\xi, \eta) \in X: \int_{\varOmega} \xi \phi_{1} \mathrm{~d} x=0\right\}$.因此codim R($L \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$)=1.

令$ L_{1}\left(\tilde{a} ; 0, \theta_{r}^{*}\right)\left(\phi_{1}, \psi_{1}\right)=D_{a(u, v)}^{2} A\left(\tilde{a} ; 0, \theta_{r}^{*}\right)\left(\phi_{1}, \psi_{1}\right)$，则$L_{1}\left(\tilde{a} ; 0, \theta_{r}^{*}\right)\left(\phi_{1}, \psi_{1}\right)=\left(\phi_{1}, 0\right) \notin R(L(\tilde{a} ; \left.\left.0, \theta_{r}^{*}\right)\right)$.

因此，根据Crandall-Rabinowitz分歧定理^[14]知，存在充分小的δ>0和C¹函数$ ( a ( s ) ; \phi(s), \psi(s)): (-\delta, \delta) \longrightarrow \mathbb{R} \times X$，使得$a(0)=\tilde{a}, \phi(0)=0, \psi(0)=0 $，且$ \phi(s), \psi(s) \in Z$，这里$ X=Z \oplus N\left(L\left(\tilde{a} ; 0, \theta_{r}^{*}\right)\right)$.因此，$ ( a ( s ) ; u(s), v(s))(|s| <\delta)$是系统(3)的解分支，其中$ u(s)=s\left(\phi_{1}+\phi(s)\right), v(s)=\theta_{r}^{*}+s\left(\psi_{1}+\right.$ $\psi(s)) $.如果取0 < s < δ，则它恰是系统(3)的正解，即分支$( a ( s ) ; u(s), v(s))(0 <s <\delta) $是系统(3)的共存解，且系统(3)在分歧点$ \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$附近的非负非平凡解，或者在分支$\left\{\left(a ; 0, \theta_{r}^{*}\right): a \in \mathbb{R}^{+}\right\} $上，或者在分支$ \{( a ( s ) ; u(s), v(s)): 0 <s <\delta\}$上.

下面以r为分歧参数，考察系统(3)发自半平凡解(θ_a^*，0)的局部分歧.类似定理1的证明过程能证明下面的定理2成立.

定理2   设m < min{b²，ab}且$ a>\lambda_{1}+\frac{m}{b}$，则$ \left(\tilde{r} ; \theta_{a}^{*}, 0\right)$是系统(3)的分歧点，且在$ \left(\tilde{r} ; \theta_{a}^{*}, 0\right)$的邻域内，系统(3)存在正解，其中$\tilde{r}=\lambda_{1} $，相应的特征函数为φ₁.

引理4   设$ m <\min \left\{b^{2}, a b\right\}, \lambda_{1}+\frac{m}{b} <a <\lambda_{1}+\frac{m}{b}+\frac{c}{\beta}$.若(u，v)是系统(3)的一个正解，则存在充分大的常数M>0，使得$ \tilde{r} <r \leqslant M$.

证   由系统(3)中关于v的方程可得

下面利用反证法证明r≤M.假设r>M.令$q_{r}=\frac{c \theta_{r}^{*}}{\left(1+\alpha \theta_{a}^{*}\right)\left(1+\beta \theta_{r}^{*}\right)}+\frac{m}{b} $.因为λ₁(q_r)是关于r的单调递增函数，$\lim\limits_{r \rightarrow+\infty} \lambda_{1}\left(q_{r}\right)=\lambda_{1}+\frac{m}{b}+\frac{c}{\beta} $，且M充分大，所以当r>M时，a < λ₁(q_r).另一方面，由r>λ₁易得v≥θ_r^*.考虑到m < b²，有$ u+\frac{m}{u+b}+\frac{c v}{(1+\alpha u)(1+\beta v)}>\frac{c \theta_{r}^{*}}{\left(1+\alpha \theta_{a}^{*}\right)\left(1+\beta \theta_{r}^{*}\right)}+\frac{m}{b}$.于是，根据系统(3)中关于u的方程可得，

矛盾.因此r≤M.

注1   由引理4可知，在半平凡解分支{(r; θ_a^*，0)}上产生的局部分歧解一定在分歧点$ \left(\tilde{r} ; \theta_{a}^{*}, 0\right)$的右侧.同时也可以知道，如果该分歧解能延拓为整体分歧，则该整体分歧是不可能随参数r到达无穷远处的.

本节主要利用全局分歧理论^[15-17]，把定理1和定理2给出的局部分歧分别延拓为全局分歧.为了研究方便，引入以下记号：

定理3   设r>λ₁，则由定理1给出的正分歧解在P内沿a增大到∞.

证   令$ \omega=u, \chi=v-\theta_{r}^{*}$.若(u，v)是系统(3)的非负解，则$0 \leqslant \omega <a, \chi \geqslant 0 $，且ω，χ满足

其中

显然F=(F₁，F₂)连续，F(0，0)=0，且F关于(ω，χ)的Fréchet导数$\left.D_{(\omega, \chi)} F\right|_{(0, 0)}=0 $.令K为(-Δ)^-1，则(9)式等价于

定义算子$ T: \mathbb{R}^{+} \times X \longrightarrow X$为

那么$ T(a ; \omega, \chi)$为X上的紧可微算子.令$ G(a ; \omega, \chi)=(\omega, \chi)-T(a ; \omega, \chi)$，则G是C¹函数，并且$G(a ; \omega, \chi) $=0.易知，$G(a ; \omega, \chi) $满足$0 \leqslant \omega <a, \chi \geqslant 0 $的零点恰好是系统(3)的非负解.

令

则$ I-K(\tilde{a})$的伴随算子

因此$ \left(I-K^{*}(\tilde{a})\right)(\omega, \chi)=0$等价于

令$\omega=-\Delta \tilde{\omega}, \chi=-\Delta \tilde{\chi} $.则(11)式等价于

显然，若$ \tilde{\chi} \equiv 0$，则$ \tilde{\omega}=\phi_{1}$，从而$N\left(I-K^{*}(\tilde{a})\right)=\operatorname{span}\left\{\left(-\Delta \phi_{1}, 0\right)\right\} $.

设μ≥1是K(a)的一个特征值，相应的特征函数为(ω，χ)，则有$K(a)(\omega, \chi)=\mu(\omega, \chi) $，即

如果ω≡0，那么χ≡0，矛盾.因此ω$ \equiv$0，于是存在某个i(i=1，2，…)，使得a=a_i(μ)，其中a_i(μ)是问题

的特征值.对于任意的i，a_i(μ)关于μ≥1严格单调递增，且满足

另一方面，若μ≥1，则L_μ的所有特征值都是正的，其中$ L_{\mu}=-\mu \Delta-r+2\left(1+\frac{e}{k}\right) \theta_{r}^{*}$，从而χ= $L_{\mu}^{-1}\left(\frac{e\left(\theta_{r}^{*}\right)^{2}}{k^{2}} \omega\right) $且(ω，χ)是K(a)的一个特征函数.因此，μ≥1是K(a)的特征值当且仅当存在某个i=1，2，…，使得a=a_i(μ).

假设$ a < \tilde a$，则对任意的μ≥1，i≥1，都有a < a₁(1)≤ a_i(μ).因此，K(a)没有大于或等于1的特征值，从而index(T(a，·)，0)=1.

假设$ \tilde{a} <a <a_{2}(1)$，则对任意的μ≥1，i≥2，有a < a_i(μ).又因为$a_{1}(1)=\tilde{a}, \lim\limits _{p \rightarrow \infty} a_{1}(\mu)=+\infty $，且a₁(μ)关于μ≥1严格递增，因此存在唯一的μ₁，使得a=a₁(μ₁).于是N(μ₁I-K(a))=span{(ω₁，χ₁)}，dim(N(μ₁I-K(a)))=1，其中ω₁>0是问题

的主特征函数，$\chi_{1}=L_{\mu_{1}}^{-1}\left(\frac{e\left(\theta_{r}^{*}\right)^{2}}{k^{2}} \omega_{1}\right) $.

下证$N\left(\mu_{1} I-K(a)\right) \cap R\left(\mu_{1} I-K(a)\right)=\{0\} $.事实上，如果假设不成立，设(ω₁，χ₁)∈R(μ₁I-K(a))，则存在(ω，χ)∈X，使得(μ₁I-K(a))(ω，χ)=(ω₁，χ₁)，即

在方程(13)两端同乘ω₁，再在Ω上积分，并利用格林公式得

另一方面，结合(12)式可得$\int_{\varOmega}-\omega_{1} \Delta \omega_{1} \mathrm{~d} x=\frac{1}{\mu_{1}} \int_{\varOmega}\left(a-\frac{m}{b}-\frac{c \theta_{r}^{*}}{1+\beta \theta_{r}^{*}}\right) \omega_{1}^{2} \mathrm{~d} x=0 $，矛盾.因此μ₁的代数重数是1.所以当$\tilde{a} <a <a_{2}(1) $时，$ \text { index }(T(a, \cdot), 0)=-1$.

根据全局分歧定理^[15]可知，在$ \mathbb{R}^{+} \times X$内，存在发自($\mathbb{R}^{+} \times X $; 0，0)的连通分支C₀满足$G(a ; \omega, \chi) $ =0，且在点($\mathbb{R}^{+} \times X $; 0，0)附近，$G(a ; \omega, \chi) $的所有零点都在定理1给出的分歧曲线$ \left\{\left( a ( s ) ; s\left(\phi_{1}+\phi(s)\right), s\left(\psi_{1}+\right.\right.\right.$$ \psi(s))):|s| <\delta\}$上.定义$C_{1}=C_{0}-\left\{\left( a ( s ) ; s\left(\phi_{1}+\phi(s)\right), s\left(\psi_{1}+\psi(s)\right)\right):-\delta <s <0\right\} $为最大连通分支，则在分歧点($\mathbb{R}^{+} \times X $; 0，0)附近，C₁满足曲线$\left\{\left( a ( s ) ; s\left(\phi_{1}+\phi(s)\right), s\left(\psi_{1}+\psi(s)\right)\right): 0 <s <\delta\right\} $.令C={(a; u，$ \left.v): u=\omega, v=\theta_{r}^{*}+\chi, (a ; \omega, \chi) \in C_{1}\right\}$，则C为系统(3)发自$ \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$的解分支，且在$ \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$的小邻域内有$C \subset P $.

基于Rabinowitz给出的全局分歧定理^[15]和文献[16-17]的研究，易知分支C-{$ \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$}满足下列条件之一：

(ⅰ) C连接了分歧点$ \left( {\mathop a\limits^ \wedge ;0, \theta _r^*} \right)$和$ \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$，其$\mathop a\limits^ \wedge \ne \tilde a $且${I - K(\mathop a\limits^ \wedge )} $不可逆;

(ⅱ) C在$\mathbb{R}^{+} \times X $内从点$ \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$延伸到∞;

(ⅲ) C包含了一个点$(a ; u, v) \in \mathbb{R}^{+} \times(\bar{Z} \backslash\{0\}) $，其中$ \bar{Z}$是$ N\left( {I - {K^*}(\tilde a)} \right)$的补空间.

下面证明$ C-\left\{\left(\tilde{a} ; 0, \theta_{r}^{*}\right)\right\} \subset P$.利用反证法，假设$ C - \left\{ {\left( {\tilde a;0, \theta _r^*} \right)} \right\} \not\subset P$，则存在点$(\mathop a\limits^ \wedge ;\mathop u\limits^ \wedge , \mathop v\limits^ \wedge ) \in \{ C - \left. {\left( {\tilde a;0, \theta _r^*} \right)} \right\} \cap \partial P $以及序列$\left\{ {\left( {{a_n};{u_n}, {v_n}} \right)} \right\} \subset C \cap P $，这里$ {u_n}, {v_n} > 0$，使得当$ n \to \infty $时，$\left( {{a_n};{u_n}, {v_n}} \right) \to (\mathop a\limits^ \wedge ;\mathop u\limits^ \wedge , \mathop v\limits^ \wedge ) $.由于$ (\mathop a\limits^ \wedge ;\mathop u\limits^ \wedge , \mathop v\limits^ \wedge ) \in \partial P$，故$ \hat u \in \partial {P_1}$或$\mathop u\limits^ \wedge \in \partial {P_1} $.假设$\mathop u\limits^ \wedge \in \partial {P_1} $，则$ \mathop u\limits^ \wedge \ge 0, x \in \bar \varOmega $，从而或者存在x₀∈Ω，使得$ \hat{u}\left(x_{0}\right)=0, \text { 或者存在 } x_{0} \in \partial \varOmega, \text { 使得 }\left.\frac{\partial u}{\partial n}\right|_{x=x_{0}}=0$，或者存在x₀∈$ \partial \varOmega $，使得${\rm{ }}{x_0} \in \partial \varOmega $.由系统(3)的第一个方程知，$\mathop u\limits^ \wedge $满足方程

故由极大值原理知$\mathop u\limits^ \wedge \tilde{\chi} \equiv 0$.同理，假设$\mathop u\limits^ \wedge \in \partial {P_1} $，则$\mathop v\limits^ \wedge \tilde{\chi} \equiv 0$.因此，($ \mathop u\limits^ \wedge , \mathop v\limits^ \wedge $)有以下3种可能的情况：

1) 假设$ (\mathop u\limits^ \wedge , \mathop v\limits^ \wedge ) = \left( {0, \theta _r^*} \right)$，则当$ n \to \infty $时，$ \left( {{a_n};{u_n}, {v_n}} \right) \to \left( {\mathop a\limits^ \wedge ;0, \theta _r^*} \right)$.令$ {U_n} = \frac{{{u_n}}}{{{{\left\| {{u_n}} \right\|}_\infty }}}$，则U_n满足

由L^p估计和Sobolev嵌入定理知，存在U_n的一个收敛子列(不失一般性，仍记为U_n)，使得当$ n \to \infty $时，$ U_{n} \rightarrow U $在$C_{0}^{1}(\bar{\varOmega}) $上成立，且$ U \geqslant 0(U \neq 0), x \in \bar{\varOmega}$.在(14)式中，令$ n \to \infty $得

由极大值原理知U>0，x∈Ω.因此$ \mathop a\limits^ \wedge = \tilde a$，这与$\mathop a\limits^ \wedge \ne \tilde a $矛盾.

2) 假设$(\mathop u\limits^ \wedge , \mathop v\limits^ \wedge ) = \left( {\theta _a^{ \wedge *}, 0} \right) $，则当$ n \to \infty $时，$\left( {{a_n};{u_n}, {v_n}} \right) \to \left( {\mathop a\limits^ \wedge ;\theta _a^{ \wedge *}, 0} \right) $.令$ {V_n} = \frac{{{v_n}}}{{{{\left\| {{v_n}} \right\|}_\infty }}}$，则V_n满足

类似地，依据L^p估计和Sobolev嵌入定理知，V_n存在一个收敛子列(不失一般性，仍记为V_n)，使得当$ n \to \infty $时，$ V_{n} \rightarrow V$在$ C_{0}^{1}(\bar{\varOmega})$上成立，且$ V \geqslant 0(V \neq 0), x \in \bar{\varOmega} $.在(15)式中，令$ n \to \infty $得

由极大值原理知V>0，x∈Ω.因此r=λ₁，与r>λ₁矛盾.

3) 假设($ \mathop u\limits^ \wedge , \mathop v\limits^ \wedge $)=(0，0)，类似于上面的方法，同样得出矛盾.

因此，$ C-\left\{\left(\tilde{a} ; 0, \theta_{r}^{*}\right)\right\} \subset P$.由此得出(ⅰ)不成立.另一方面，不妨取(ⅲ)中$\bar{Z}=R(I-K(\tilde{a}))= $ $ \left(N\left(I-K^{*}(\tilde{a})\right)\right)^{\perp}=\left\{(\omega, \chi) \in X: \int_{\varOmega}-\omega \Delta \phi_{1} \mathrm{~d} x=0\right\}$，其中$ N\left(I-K^{*}(\tilde{a})\right)=\operatorname{span}\left\{\left(-\Delta \phi_{1}, 0\right)\right\}$.若C包含一个点$(a ; u, v) \in \mathbb{R}^{+} \times(\bar{Z} \backslash\{0\}) $，则有$\int_{\varOmega}-u \Delta \phi_{1} \mathrm{~d} x=0 $，这与$ \int_{\varOmega} s\left(\phi_{1}+\phi(s)\right)\left(\tilde{a}-\frac{m}{b}-\frac{c \theta_{r}^{*}}{1+\beta_{r}^{*}}\right) \phi_{1} \mathrm{~d} x \neq 0(s>0)$矛盾.因此(ⅲ)也不成立.由引理2，L^p估计和Sobolev嵌入定理知，存在常数M′>0，使得‖u‖，‖v‖≤ M′.所以C在正锥P内只能沿参数a延伸到∞.

类似地，定理2给出的局部分歧也可以延拓为全局分歧，下面主要对全局分歧的具体走向作一下说明.

定理4   设$m <\min \left\{b^{2}, a b\right\}, \lambda_{1}+\frac{m}{b} <a <\lambda_{1}+\frac{m}{b}+\frac{c}{\beta} $，则由定理2给出的正分歧解与半平凡分支$H_{1}=\left\{\left(r ; 0, \theta_{r}^{*}\right)\right\} $相连接.

证   令H为系统(3)由$ \left(\tilde{r} ; \theta_{a}^{*}, 0\right)$出发的解曲线，且在$ \left(\tilde{r} ; \theta_{a}^{*}, 0\right)$的小邻域内$ H \subset P$.因此根据全局分歧定理^[15]和文献[16-17]的研究知，分支$\left.H-\left\{\tilde{r} ; \theta_{a}^{*}, 0\right)\right\} $满足下列条件之一：

(ⅰ) H连接了分歧点$ \left( {\mathop r\limits^ \wedge ;\theta _a^*, 0} \right)$和$ \left(\tilde{r} ; \theta_{a}^{*}, 0\right)$，其中$ \left(\hat{r} ; \theta_{a}^{*}, 0\right)$且$ I - K(\mathop r\limits^ \wedge )$不可逆;

(ⅱ) H在$\mathbb{R}^{+} \times X $内从点$ \left(\tilde{r} ; \theta_{a}^{*}, 0\right)$延伸至∞;

(ⅲ) H包含了一个点$ (r ; u, v) \in \mathbb{R}^{+} \times(\overline{\overline Z} \backslash\{0\}) $，其中$\overline{\overline Z} $是$ N\left( {I - {K^*}(\tilde a)} \right)$的补空间.

下面证明$H-\left\{\left(\tilde{r} ; \theta_{a}^{*}, 0\right)\right\} \not \subset P $.利用反证法，假设$ H-\left\{\left(\tilde{r} ; \theta_{a}^{*}, 0\right)\right\} \subset P$，则条件(ⅰ)不成立.类似于定理3中(ⅱ)和(ⅲ)的证明知，(ⅲ)不成立，且存在M″>0，使得当(u，v)∈H时，‖u‖，‖v‖≤M″.另一方面，由引理4知，r是有界的，故(ⅱ)也不成立.因此$H-\left\{\left(\tilde{r} ; \theta_{a}^{*}, 0\right)\right\} \not \subset P $，于是存在点$\left( {\mathop r\limits^ \wedge ;{u^*}} \right.\left. {{v^*}} \right) \in \left\{ {H - \left( {\tilde r;\theta _a^*, 0} \right)} \right\} \cap \partial P $和序列$ \left\{ {\left( {{r_n};u_n^*, v_n^*} \right)} \right\} \subset H \cap P, u_n^* > 0, v_n^* > 0$，使得当$ n \to \infty $时，${\rm{ }}\left( {{r_n};u_n^*, v_n^*} \right) \to \left( {\mathop r\limits^ \wedge ;{u^*}, {v^*}} \right) $.依据极大值原理易知，$ \left( {{u^*}, {v^*}} \right){\rm{ }}$有以下3种可能：

1) ${\left( {{u^*}, {v^*}} \right) = \left( {\theta _a^*, 0} \right)} $;

2) $ \left( {{u^*}, {v^*}} \right){\rm{ }}$=(0，0);

3) ${\left( {{u^*}, {v^*}} \right) = \left( {0, \theta _{\mathop r\limits^ \wedge }^*} \right)} $.

假设$ \left( {{u^*}, {v^*}} \right){\rm{ }}$=(θ_a^*，0)，则当$ n \to \infty $时，$ \left( {{r_n};u_n^*, v_n^*} \right) \to \left( {\mathop r\limits^ \wedge ;\theta _a^*, 0} \right)$.令$V_n^* = \frac{{v_n^*}}{{{{\left\| {v_n^*} \right\|}_\infty }}} $，那么V_n^*满足

根据L^p估计和Sobolev嵌入定理知，存在V_n^*的一个收敛子列(不失一般性，仍记为V_n^*)，使得当$ n \to \infty $时，在$ C_{0}^{1}(\bar{\varOmega})$上有$ V_{n}^{*} \rightarrow V^{*} $成立，且$ V^{*} \geqslant 0\left(V^{*} \not \equiv 0\right), x \in \bar{\varOmega}$.因此在(16)式中，令$ n \to \infty $得

由极大值原理可得$ V^{*}>0, x \in \varOmega $.因此$ \mathop r\limits^ \wedge = \tilde r$与$ \mathop r\limits^ \wedge = \tilde r$矛盾.

假设$ \left( {{u^*}, {v^*}} \right){\rm{ }}$=(0，0)，与上面的方法类似，同样可得出矛盾.

因此$ \left( {{u^*}, {v^*}} \right){\rm{ }}$=(0，$\theta _{\mathop r\limits^ \wedge }^* $)，即H与H₁连接于点($\mathop r\limits^ \wedge $; 0，$\theta _{\mathop r\limits^ \wedge }^* $).

注2   定理4说明，($\mathop r\limits^ \wedge $; 0，$\theta _{\mathop r\limits^ \wedge }^* $)是H₁={(r; 0，θ_r^*)}上的一个分歧点.因为$ \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$是半平凡解分支$\left\{\left(a ; 0, \theta_{r}^{*}\right)\right\} $上的分歧点，所以$\mathop r\limits^ \wedge $恰好由$a = {\lambda _1}\left( {\frac{m}{b} + \frac{{c\theta _{\mathop r\limits^ \wedge }^*}}{{1 + \beta \theta _{\mathop r\limits^ \wedge }^*}}} \right) $来决定.因此，我们可以得到系统(3)正解存在的一个充分条件，即有下面的结论成立.

定理5   设$ m <\min \left\{b^{2}, a b\right\}, \lambda_{1}+\frac{m}{b} <a <\lambda_{1}+\frac{m}{b}+\frac{c}{\beta}$.若$ \tilde r < r < \mathop r\limits^ \wedge $，则系统(3)至少存在一个正解.

本节主要利用特征值线性扰动理论和稳定性定理^[18-19]分别讨论分歧点$ \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$和$ \left(\tilde{r} ; \theta_{a}^{*}, 0\right)$附近分歧解的稳定性.为了研究方便，引入下列记号：

i：$ X_{1} \longrightarrow Y$为由X₁到Y的包含映射.

引理5   0是$L \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$的i-单重特征值.

证   由定理1的证明易知，$ N\left(L\left(\tilde{a} ; 0, \theta_{r}^{*}\right)\right)=\operatorname{span}\left\{\left(\phi_{1}, \psi_{1}\right)\right\}, \operatorname{codim} R\left(L\left(\tilde{a} ; 0, \theta_{r}^{*}\right)\right)=1$，且$R\left(L\left(\tilde{a} ; 0, \theta_{r}^{*}\right)\right)=\left\{(\xi, \eta) \in X: \int_{\varOmega} \xi \phi_{1} \mathrm{~d} x=0\right\} $.又因为$ i\left(\phi_{1}, \psi_{1}\right) \notin R\left(L\left(\tilde{a} ; 0, \theta_{r}^{*}\right)\right)$，故0是$L \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$的i-单重特征值.

引理6   0是$L \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$实部最大的特征值，其它特征值均在左半复平面上.

证   反证法.假设λ₀是$L \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$实部大于0的特征值，(ξ，η)是相应的特征函数，则$L \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$(ξ，η)=λ₀(ξ，η)，即

若ξ≡0，则λ₀是算子-L₀的一个特征值，其中L₀由引理3给出，从而$ \lambda_{0} \in \mathbb{R}$且λ₀ < 0，矛盾，故ξ$ \equiv$0，于是λ₀是算子$\Delta+\left(\tilde{a}-\frac{m}{b}-\frac{c \theta_{r}^{*}}{1+\beta \theta_{r}^{*}}\right) I $的一个特征值.由于$\tilde{a}=\lambda_{1}\left(\frac{m}{b}+\frac{c \theta_{r}^{*}}{1+\beta_{r}^{*}}\right) $，故0是$\Delta+ $的主特征值，从而有λ₀≤0，所以假设不成立.因此0是$L \left(\tilde{a} ; 0, \theta_{r}^{*}\right)$实部最大的特征值，其它特征值均在左半复平面上.

由引理5、引理6和文献[18-19]知，存在分别定义在$\tilde a $和0邻域内的C¹函数$ a \longrightarrow(\gamma(a), S(a))$，$ s \longrightarrow(\zeta ( s ), W(s))$，使得$(\gamma(\tilde{a}), S(\tilde{a}))=\left(0, \left(\phi_{1}, \psi_{1}\right)\right)=(\zeta(0), W(0)) $，并且

其中$S(a)=\left(u_{1}(a), u_{2}(a)\right), W(s)=\left(v_{1}(s), v_{2}(s)\right) $.由于$ \gamma^{\prime}(\tilde{a}) \neq 0$，又若$ \zeta ( s ) \neq 0$，则

这里a′(s)是a(s)关于s的导数，$\gamma^{\prime}(\tilde{a}) $是γ(a)关于a在$ a=\tilde{a}$处的导数.

分歧解$(u(s), v(s)) $的稳定性完全由ζ(s)的符号决定.若ζ(s) < 0，则它们是稳定的; 若ζ(s)>0，则它们是不稳定的.另一方面，ζ(s)与$s a^{\prime}(s) \gamma^{\prime}(\tilde{a}) $的符号相反，因此根据$s a^{\prime}(s) \gamma^{\prime}(\tilde{a}) $的符号可以得出分歧解$(u(s), v(s)) $的稳定性.

引理7    $\gamma^{\prime}(\tilde{a}) $>0.

证   由$ L\left(a ; 0, \theta_{r}^{*}\right) S(a)=\gamma(a) S(a)$知

由于$|a-\tilde{a}| \ll 1 $，所以当a充分接近$ \tilde{a} $时，$ |\gamma(a)| \ll 1 $.若u₁≡0，则u₂≡0，矛盾，故u₁$ \equiv$0.因此，γ(a)是算子$\Delta+\left(a-\frac{m}{b}-\frac{c \theta_{r}^{*}}{1+\beta \theta_{r}^{*}}\right) I $的特征值.因为ϕ₁>0，所以只要$|a-\tilde{a}| \ll 1 $，则u₁(a)>0，由此可得γ(a)是$ \Delta+\left(a-\frac{m}{b}-\frac{c \theta_{r}^{*}}{1+\beta \theta_{r}^{*}}\right) I$的主特征值，且当$|a-\tilde{a}| \ll 1 $时，γ(a)关于a单调递增.又$\gamma^{\prime}(\tilde{a}) $≠0，所以$\gamma^{\prime}(\tilde{a}) $>0.

定理6   令

设$r>\lambda_{1}, 0 <s \ll 1 $.若Q>0，则由定理1给出的分歧解$ (u(s)， v(s))$是线性稳定的; 若Q < 0，则分歧解$ (u(s)， v(s))$是不稳定的.

证   根据引理7及其上面的讨论知，要证明分歧解的稳定性，只需证明a′(0)与Q同号.把分歧解$ (a(s) ; u(s), v(s))=\left(a(s) ; s\left(\phi_{1}+\phi(s)\right), \theta_{r}^{*}+s\left(\psi_{1}+\psi(s)\right)\right)$代入系统(3)第一个方程，再关于s在s=0处求导得

在方程(17)两端同乘ϕ₁，再在Ω上积分，并利用Green公式得

故

因此，a′(0)与Q同号.于是，若Q>0，则a′(0)>0，从而$\zeta(s) <0(0 <s \ll 1) $，故结论成立.

注3   显然在Ω上，ϕ₁，ψ₁>0.因为m < ab，所以若$ \frac{a}{b}+\frac{c \alpha}{\beta} <1$，则

因此Q>0，于是由定理1给出的分歧解是稳定的.

类似地，由定理2给出的分歧解的稳定性由J的符号决定，其中

显然，J>0.因此可得下面的定理成立.

定理7   设m < min{b²，ab}且$ a>\lambda_{1}+\frac{m}{b}$，则当$ 0 <s \ll 1$时，由定理2给出的分歧解是无条件稳定的.

本节主要在一维情形下，利用Matlab工具模拟系统(3)解的情况.在一维空间Ω=(0，2π)下，系统(3)对应的抛物系统为

通过计算可得λ₁=0.25.这里用Crank-Nicolson方法对(18)式的解$ (u(x, t), v(x, t))$进行数值模拟(图 1)，其中参数$a=1.6, m=0.23, b=0.5, c=1, \alpha=0.5, \beta=1, r=0.8, e=0.5, k=1 $均满足系统(3)正解存在的条件.图 1(a)，(b)表明，当t趋于100时，食饵和捕食者的密度不再与时间有关，系统达到了平衡的状态.图 1(c)表明，在一定条件下，食饵和捕食者可以共存.