考虑下列合作椭圆方程组

其中：x∈Ω，Ω⊂ $\mathbb{R}$ ^N(N≥4) 是一个具有光滑边界的有界区域，0∈Ω，a，b，c∈R，a＞0，c＞0，b²-ac＜0.设∇F(u，v)=(F_u(u，v)，F_v(u，v))满足条件：

(A) F∈C¹(( $\mathbb{R}$ )²， $\mathbb{R}$ ⁺)，F(0，0)=0.当(u，v)≠(0，0) 时，F(u，v)＞0，F(tu，tv)=t^pF(u，v)(t＞0)，2＜p≤2^*，2^*= $\frac{{2N}}{{N - 2}}$ 是临界Sobolev指数.

设z=(u，v)，条件(A)可推出欧拉恒等式：

其中：M=max {F(u，v)|(u，v)∈ $\mathbb{R}$ ²，|u|²+|v|²=1}＞0，|z|^p=|u|^p+|v|^p.

设空间 $H_0^1$ (Ω)以及L^p(Ω)中的范数

设a＞0，c＞0，b²-ac＜0，则矩阵

存在两个特征值0＜λ₁≤λ₂，au²+2buv+cv²≥0，且

设特征值问题(-Δ， $H_0^1$ (Ω))的第一特征值为μ₁＞0，相应的特征函数φ₁＞0.

在Banach空间E= $H_0^1$ (Ω)× $H_0^1$ (Ω)中定义范数

近来，关于含临界指数椭圆方程组解的存在性得到了广泛的研究.文献[1]研究了下列方程组

正解的存在性，得到了当α+β=2^*，b≥0，0＜λ₁≤λ₂＜μ₁，N≥4，方程组存在一个正解.文献[2-4]推广了上述结果.相关论文还可见参文献[5-9].文献[10-15]利用Nehari流形的方法得到了椭圆方程的多解性.本文应用Nehari流形和变分方法证明了当2＜p＜2^*以及p=2^*时方程至少存在一个非平凡解.

定义1  (u，v)∈E是问题(1) 的一个解是指任意(ϕ₁，ϕ₂)∈E满足：

下面给出本文的主要结果.

定理1 假设0＜λ₁≤λ₂＜μ₁，2＜p＜2^*，条件(A)成立，则问题(1) 在E中存在一个非平凡解.

定理2 假设0＜λ₁≤λ₂＜μ₁，p=2^*，条件(A)成立，则问题(1) 在E中存在一个非平凡解.

定义能量泛函：

其中

类似于文献[10]的证明知道，J∈C¹(E， $\mathbb{R}$ ).考虑Nehari流形：

因此z=(u，v)∈N_λ当且仅当

对于(u，v)∈N_λ

于是J(u，v)是有下界的.

定义

对于(u，v)∈N_λ，

把N_λ分成3个部分：

由于2＜p≤2^*= $\frac{{2N}}{{N - 2}}$ .于是 $N_\lambda ^ + $ = $N_\lambda ^0$ =Ø，N_λ= $N_\lambda ^ - $ .

引理1 假设(u₀，v₀)是J在N_λ里的一个极小值点，且(u，₀，v₀)∉ $N_\lambda ^0$ ，则J′(u₀，v₀)=0，即(u₀，v₀)是J(u，v)的一个临界点.

证 此证明类似于文献[14]，这里略去证明.

由于(u，v)∈N_λ时，J(u，v)有下界，我们可以定义：

引理2 存在C₀=C₀(μ₁，λ₂，p，S₀)＞0使得ξ^-＞C₀.

证 设(u，v)∈ $N_\lambda ^ - $ ，当0＜λ₁≤λ₂＜μ₁时，由(4) 式知

设 $H_0^1$ (Ω)L^p(Ω)(2＜p＜2^*)的最佳嵌入系数为S₀，

于是由(7) 式有

由(6)，(8) 式有

于是由(6)，(9) 式有ξ^-＞C₀.

对于每个(u，v)∈E，且K(u，v)＞0，则(u，v)≠(0，0)，当0＜λ₁≤λ₂＜μ₁时，

记

则有下列引理3，4.

引理3 对于(u，v)∈E，且K(u，v)＞0，则存在唯一的t₀使得(t₀ u，t₀ v)∈ $N_\lambda ^ - $ ，且

证 设(u，v)∈E，且K(u，v)＞0，设

令h′(t)=0，得到t=t₀，h(0)=0，t→+∞，h(t)→-∞.当t∈[0，t₀)，h′(t)＞0，当t∈(t₀，∞)，h′(t)＜0，因此h(t)在t=t₀达到最大值.由(5) 式得到

于是

引理4 假设0＜λ₁≤λ₂＜μ₁，则泛函J(u，v)有一个极小值点 $(u_0^ - ,v_0^ - )$ ∈ $N_\lambda ^ - $ ，且满足

(1) J $(u_0^ - ,v_0^ - )$ =ξ^-，

(2) $(u_0^ - ,v_0^ - )$ 是方程(1) 的一个非平凡解.

证 设(u_n，v_n)∈ $N_\lambda ^ - $ 是J(u，v)的一个极小化序列，

由(6) 式知道

因此{u_n，v_n}是有界的，存在一个子列(不妨仍记作{u_n，v_n})以及 $(u_0^ - ,v_0^ - )$ ∈E，且在E里，(u_n，v_n)→ $(u_0^ - ,v_0^ - )$ ，在Ω里，(u_n，v_n)→ $(u_0^ - ,v_0^ - )$ a.e.，于是当n→∞，由(7) 式有，K(u_n，v_n)→K $(u_0^ - ,v_0^ - )$ .

于是 $(u_0^ - ,v_0^ - )$ ≠(0，0)，K $(u_0^ - ,v_0^ - )$ ＞0.现在我们证明：在E里(u_n，v_n) $(u_0^ - ,v_0^ - )$ .假如不是，由Fatou引理：

由引理3知存在唯一的t₀^-使得(t₀^-u₀^-，t₀^-v₀^-)∈N_λ^-，又(u_n，v_n)∈N_λ^-，J(tu_n，tv_n)在t=1达到极大值，因此当t≥0时，J(tu_n，tv_n)≤J(u_n，v_n).于是由(6)，(10) 式有

矛盾，因此在E里(u_n，v_n)→ $(u_0^ - ,v_0^ - )$ .当n→∞，J(u_n，v_n)→J $(u_0^ - ,v_0^ - )$ =ξ^-，又 $(u_0^ - ,v_0^ - )$ ≠(0，0)，由引理1知 $(u_0^ - ,v_0^ - )$ 是方程(1) 的一个非平凡解.

现在考虑p=2^*= $\frac{{2N}}{{N - 2}}$ 的情形.

对于u≠0，设

则有

S的达到函数

且U_ε(x)满足下列方程：

因此有

设0≤φ(x)≤1，φ(x)∈C₀^∞(Ω)，定义：当|x|≤r，φ(x)=1；|x|≥2r，φ(x)=0，|∇φ(x)|≤C，B_2r(0)⊂Ω，r为常数，设

则利用文献[5]的方法，同样可得u_ε(x)具有下列性质：

以及

对于z=(u，v)∈E{0}，设

因此

定义能量泛函：

其中

定义2 序列{(u_n，v_n)}⊂E叫做一个(PS)_c列，假如存在c∈ $\mathbb{R}$ 有

引理5 对于c∈ $\mathbb{R}$ ，若序列{z_n}={(u_n，v_n)}⊂E是泛函J的一个(PS)_c列，则存在{z_n}={(u_n，v_n)}⇀z=(u，v)∈E，(u，v)是问题(1) 的一个解，且J′(u，v)=0.

证 由(PS)_c列的定义，存在c∈ $\mathbb{R}$ ，有

则当0＜λ₁≤λ₂＜μ₁时，

因此{(u_n，v_n)}有界.

{(u_n，v_n)}有界，则在E里存在弱收敛的子列，不妨仍记为{(u_n，v_n)}，存在(u，v)∈E，当n→∞，(u_n，v_n)⇀(u，v)在E里，u_n⇀u以及v_n⇀v在L^2*(Ω)里. u_n→u以及v_n→v在L²(Ω)里，u_n→u以及v_n→v a.e.，x∈Ω⊂ $\mathbb{R}$ ^N.因此n→∞，A(u_n，v_n)A(u，v)，由(15) 式知道(u，v)是问题(1) 的一个解，且J′(u，v)=0.

引理6 对于c∈ $\mathbb{R}$ ，若序列{z_n}={(u_n，v_n)}⊂H是泛函J的一个(PS)_c列，(u_n，v_n)⇀(u，v)，则当

时，(u_n，v_n)(u，v).

证 由(PS)_c列的定义，存在c∈ $\mathbb{R}$ ，有

由引理5，(u，v)是问题(1) 的一个解，且J′(u，v)=0.设u_n1=u_n-u，v_n1=v_n-v于是u_n1⇀0以及v_n1⇀0，由Brezis-lieb引理^[7]推出

由文献[9]得到

因此

于是假设

由S_F的定义， ${l^{\frac{2}{{{2^*}}}}} \le \frac{{{2^*}l}}{{{S_F}}}$ 时得l=0或者 $l \ge {\left( {\frac{{{S_F}}}{{{2^*}}}} \right)^{\frac{N}{2}}}$ .若 $l \ge {\left( {\frac{{{S_F}}}{{{2^*}}}} \right)^{\frac{N}{2}}}$ ，则

令n→∞

得到J(u，v)＜0.

另一方面，由(u，v)是问题(1) 的一个解，J′(u，v)=0.

矛盾.故l=0，(u_n，v_n)→(u，v).

引理7 假设0＜λ₁≤λ₂＜μ₁，下面结论成立：

1) 存在δ，ρ＞0，使得当∀z=(u，v)∈E，‖z‖=ρ，J(u，v)≥δ＞0；

2) 存在(ϕ₁，ϕ₂)∈E使得：

证 1) 当0＜λ₁≤λ₂＜μ₁时，由(4)，(11) 式有

由于2^*＞2，取‖z‖=ρ足够小，存在δ＞0，J(u，v)≥δ＞0.

2) 取ϕ=(ϕ₁，ϕ₂)∈E，ϕ₁，ϕ₂≥0，(ϕ₁，ϕ₂)≠(0，0)，注意到A(ϕ₁，ϕ₂)≥0，由(2) 式有

即t→∞，J(tϕ₁，tϕ₂)→-∞.

下面我们给出定理2的证明.

定理2的证明 设u₀=αu_ε，v₀=βu_ε，α²+β²=1，z₀=(u₀，v₀)∈E.考虑下列函数

由

当t≥0，supg(t)在某个t_ε＞0达到，由于

注意到N≥4，因此由(12)，(13)，(14) 式及F(α，β)=M得到

当t≥0时，

由引理7及山路引理知在E里存在(PS)_c列{(u_n，v_n)}使得

其中

由引理5，存在(u₂，v₂)∈E，(u_n，v_n)⇀(u₂，v₂)，且J′(u₂，v₂)=0，于是

由引理6知(u_n，v_n)(u₂，v₂)，又J(u₂，v₂)=c₀＞0，因此问题(1) 存在一个非平凡解，证毕.