开放科学（资源服务）标志码（OSID）：

本文讨论含有Sobolev临界指数项的分数阶p-q型椭圆系统

其中Ω⊂ℝ^N为有界光滑区域，0＜s＜1，1＜q＜p＜ $\frac{{N}}{{s}} $，1＜r＜p_s^*，$p_s^* = \frac{{Np}}{{N - ps}}$为分数阶Sobolev临界指数，H∈C¹(ℝ²，ℝ₊)是p_s^*齐次函数，H_u，H_v分别是H对u和v的偏导数，(H_u，H_v)=∇H. 设m＞1，(-Δ)_m^s为分数阶m-Laplace算子，定义为

形如方程组(1)的分数阶椭圆边值问题具有很强的物理背景和广阔的应用前景，广泛应用于诸多领域，例如反常扩散问题、极小曲面问题、最优化问题、相变问题等^[1-2].

近年来，p-q型临界椭圆边值问题受到了学者们的广泛关注. 例如文献[3]讨论了p-q型椭圆耦合系统

其中Ω⊂ℝ^N是包含原点的有界光滑区域，1＜q＜p＜r＜p^*，λ，θ＞0，α，β＞1满足α+β=p^*，p^*是Sobolev临界指数. 应用山路引理和Lusternik-Schnirelmann(简称LS)畴数理论，得到了在一定条件下问题(2)至少存在cat(Ω)个正解. 有关带有临界指数项的结论还可参见文献[4-10].

近年来，分数阶临界椭圆边值问题引起了人们的广泛兴趣，目前已获得了一定的研究成果^[11-17]. 例如文献[14]研究了分数阶p-q型椭圆耦合系统

其中Ω⊂ℝ^N是有界光滑区域，0＜s＜1，$1 < r < q < p < \frac{N}{s}$，λ，μ＞0，α，β＞1满足α+β=p_s^*，p_s^*是分数阶Sobolev临界指数. 应用形变引理以及LS畴数理论，证明了问题(3)存在无穷多个解.

研究方程组(1)的主要困难在于：一方面，方程组(1)含有Sobolev临界指数项，使得对应的能量泛函失去紧性；另一方面，p-q型方程没有p-Laplace方程的齐次性，从而通常的变分方法和分析技巧受到很大的限制. 本文应用山路引理克服了上述困难.

设a(x)，b(x)，H满足下述条件：

(K₁) a(x)，b(x)＞0，a(x)，b(x)∈L^θ(Ω)，$\theta = \frac{{p_s^*}}{{p_s^* - r}}$，并且

(K₂) ${a_0} = \mathop {\inf }\limits_{x \in {\mathit{\Omega}} } \;a(x) > 0, {b_0} = \mathop {\inf }\limits_{x \in {\mathit{\Omega}} } \;b(x) > 0$；

(H₁) H是p_s^*齐次函数，满足

(H₂) H(-ζ，-τ)=H(ζ，τ)，∀(ζ，τ)∈ℝ²；

(H₃) 0＜H_min=min{H(ζ，τ)：(ζ，τ)∈ℝ²，|ζ|^p_s*+|τ|^p_s*=1}.

定理1   设N＞p²s，$1 < q < p \le \max \left\{ {p, \frac{{Nq}}{{N - ps}}} \right\} < r < p_s^*$，如果条件(K₁)-(K₂)，(H₁)-(H₃)成立，则方程组(1)至少存在一个非平凡解.

全文中，设Ω⊂ℝ^N为有界光滑区域，s∈(0，1)，p＞1，C，C₁均代表正常数. 用X^s，p(Ω)表示通常的分数阶Sobolev空间，

其范数定义为

设乘积空间

这两个Banach空间的范数分别定义为

令空间E=W_p∩W_q，赋以范数

下面我们定义分数阶Sobolev最佳临界常数

引理1   如果条件(H₁)-(H₃)成立，则有${S_H} = \widetilde H_{\max }^{ - 1}S$.

证   该证明与文献[18]中引理3.2的证明类似.

现定义方程组(1)所对应的能量泛函J：E→ℝ为

容易验证J(u，v)∈C¹(E，ℝ)，从而泛函J(u，v)在E中的临界点对应于方程组(1)的弱解. 我们称(u，v)∈E是方程组(1)的弱解，当且仅当对∀(φ，ψ)∈E，都有

其中

引理2   若{(u_n，v_n)}⊂E是J(u，v)的(PS)_c序列，则{(u_n，v_n)}在E中有界.

证   若{(u_n，v_n)}⊂E是J(u，v)的(PS)_c序列，则有

应用反证法，假设当n→∞时，有‖(u_n，v_n)‖_E→∞. 下面将分3种情况进行讨论：

情形1   ‖(u_n，v_n)‖_s，p→∞，‖(u_n，v_n)‖_s，q→∞. 当n足够大时，有‖(u_n，v_n)‖_s，p^p-q≥1且‖(u_n，v_n)‖_s，p^p≥‖(u_n，v_n)‖_s，p^q. 由不等式(a+b)^q≤C_q(a^q+b^q)和(8)式，可知

由此可知‖(u_n，v_n)‖_E有界，矛盾.

情形2   ‖(u_n，v_n)‖_s，p有界，‖(u_n，v_n)‖_s，q→∞. 根据(8)式，可知

从而可知

当n→∞时，有$0 \geqslant \frac{1}{q}-\frac{1}{r}>0$，矛盾.

情形3   ‖(u_n，v_n)‖_s，p→∞，‖(u_n，v_n)‖_s，q有界. 与情形2同理，矛盾.

引理3   若{(u_n，v_n)}⊂E是J(u，v)的(PS)_c序列，且在E中有(u_n，v_n)$\rightharpoonup$(u，v)，则有J′(u，v)=0和J(u，v)＞0.

证   由文献[11]的引理3.3可知，J′(u，v)=0，即

由于q＜p＜r＜p_s^*，故

引理4   设1＜q＜p＜r＜p_s^*，如果

成立，那么泛函J在E中满足(PS)_c条件.

证   设{(u_n，v_n)}⊂E是J(u，v)的(PS)_c序列，即满足

由引理2和引理3可知，{(u_n，v_n)}在E中有界，从而{(u_n，v_n)}存在子列(仍记为{(u_n，v_n)})，在E中有(u_n，v_n)$\rightharpoonup$(u，v)，且(u，v)是J(u，v)的一个临界点. 当n→∞时，有

并且当n→∞时，由Lebesgue控制收敛定理可知

现设$\left(\tilde{u}_{n}, \tilde{v}_{n}\right)=\left(u_{n}-u, v_{n}-v\right)$，应用Brezis-Lieb引理^[19]，有

和

同时，对任意的(φ，ψ)∈E，若有

那么(u，v)∈E是方程组(1)的弱解，将(13)-(15)式代入(11)和(12)式，可得

不失一般性，设

由(5)和(17)式可知

当a=0时，显然引理4成立. 现假设a＞0，由(18)式可得$a \geqslant S_{H}^{\frac{N}{p_{s}}}$结合(17)，(18)式以及J(u，v)＞0，当n→∞时，有

这与(10)式矛盾，由此可知a=0，在E中有(u_n，v_n)→(u，v)，引理4得证.

引理5   设N＞p²s，$1<q<p \leqslant \max \left\{p, \frac{N q}{N-p s}\right\}<r<p_{s}^{*}$，如果条件(K₁)-(K₂)，(H₁)成立，则存在(u₀，v₀)∈E，使得

证   证明与文献[15]中引理4.1、引理4.2、定理1.2的证明类似.

引理6   设1＜q＜p＜r＜p_s^*，如果条件(K₁)成立，则有：

(i) J(0，0)=0，存在常数ρ＞0，使得对所有满足‖(u，v)‖_s，p=ρ的(u，v)∈E，都有J(u，v)≥β＞0成立；

(ii) 存在(u₀，v₀)∈E，满足‖(u₀，v₀)‖_s，p＞ρ，使得J(u₀，v₀)＜0.

证   (i) 显然J(0，0)=0成立. 由(5)和(17)式可知

因此，存在常数ρ，β＞0，使得对所有满足‖(u，v)‖_s，p=ρ的(u，v)，都有J(u，v)≥β成立.

(ii) 固定(u，v)∈E，且u₊≠0，v₊≠0，可得

当t→∞时，J(tu，tv)→-∞，因此存在t₀＞0，使得当‖(t₀u，t₀v)‖_s，p＞ρ时，有J(t₀u，t₀v)＜0. 令(u₀，v₀)=(t₀u，t₀v)，则有(ii)成立.

定理1的证明   设${c_1} = \mathop {\inf }\limits_{\gamma \in {\mathit{\Gamma}} } \;\mathop {\max }\limits_{t \in [0, 1]} \;J(\gamma (t))$，其中Γ是E中联结0与e的道路的集合，即

由山路引理可知，存在序列{(u_n，v_n)}⊂E，使得J(u_n，v_n)→c₁≥β，J′(u_n，v_n)→0(n→∞). (u₀，v₀)由引理5给出，结合引理6，可得

再结合引理4，可得泛函J的一个临界点(u₁，v₁)，因为J(u₁，v₁)=c₁＞0，故(u₁，v₁)是方程组(1)的非平凡解.