本文中，我们考虑如下问题：

其中Ω是$\mathbb{R}^{N} $中的光滑有界区域，0＜s＜1，非线性项f(x，u)满足：当u→∞时临界指数增长，$ (-\Delta)_{\frac{N}{s}}^{s}$是分数阶拉普拉斯算子，定义为

其中B_ε(x)表示$\mathbb{R}^{N} $中球心在x处，半径为ε＞0的球.

众所周知，对任意的1≤p＜∞，W₀^1，N(Ω)↺L^p(Ω)成立，但W₀^1，N(Ω)⊈L^∞(Ω).文献[1]得到了W₀^1，N(Ω)能以最大增长速度$ \phi(t)=\mathrm{e}^{|t|^{\frac{N}{N-1}}}-1$嵌入到Orlicz空间L_ϕ(Ω)中.随后，文献[2]得到了下列结果：

其中$ \alpha_{N}=N \omega_{N-1}^{\frac{1}{N-1}}, \omega_{N-1}$表示$\mathbb{R}^{N} $中单位球的球表面测度，|Ω|表示Ω的测度.近年来，有关分数阶椭圆型问题的研究受到了广泛关注^[3-7].关于分数阶Trudinger-Moser不等式的研究，文献[8]给出了Sobolev-Slobodeckij空间$ W_{0}^{s, \frac{N}{s}}(\varOmega)$中的相关结果，即存在正的有限的α_N，s，使得对所有α≤α_N，s，有

其中

另外，存在$\alpha_{N, s}^{*} \geqslant \alpha_{N, s} $，使得对于任意的α＞α_N，s^*，(2)式中的上确界为正无穷.但是α_N，s^*与α_N，s是否相等，仍然是一个值得探索的问题.文献[9-12]讨论了非线性项是临界指数增长的分数阶问题解的存在性以及多解性，相应的局部情形的相关结果可参见文献[13-15].

本文中，我们主要研究问题(1)的非平凡解的存在性，假设非线性项f(x，u)满足下列条件：

(F₁) f在无穷远处满足临界指数增长，即存在常数α₀＞0，使得：当α＞α₀时，$\lim\limits_{t \rightarrow \infty} f(x, t) \mathrm{e}^{-\alpha|t|^{\frac{N}{N-s}}}=0 $；当α＜α₀时，$ \lim\limits_{t \rightarrow \infty} f(x, t) \mathrm{e}^{-\alpha|t|^{\frac{N}{N-s}}}=\infty$.

(F₂)存在t₀＞0，M₀＞0，使得对∀(x，t)∈Ω×[t₀，+∞)，有

(F₃)对∀(x，t)∈Ω×(0，+∞)，存在$ \theta>\frac{N}{s}$，使得

(F₄)对$ \forall x \in \varOmega, \limsup\limits_{t \rightarrow 0^{+}} \frac{N F(x, t)}{s|t|^{\frac{N}{s}}}<\lambda$一致成立，其中

(F₅)对∀(x，t)∈Ω×(0，+∞)，存在常数$q>\frac{N}{s} $和C_q，使得f(x，t)≥C_qt^q-1，其中

且

定义1   对$ \forall \phi \in W_{0}^{s, \frac{N}{s}}(\varOmega)$，若$ \langle u, \phi\rangle_{s, \frac{N}{s}}=\int_{\varOmega} f(x, u) \phi \mathrm{d} x$，则称$ u \in W_{0}^{s, \frac{N}{s}}(\varOmega)$是问题(1)的一个弱解.其中

本文的主要结果如下：

定理1  假设N≥1，0＜s＜1，条件(F₁)-(F₅)成立，则问题(1)存在一个非平凡的弱解.

注1  令f(t)=F′(t)，其中$ F(t)=t^{\mu} \mathrm{e}^{\alpha_{0}|t|^{\frac{N}{N-s}}}, t \geqslant 0$，t≥0并且$ \mu>\frac{N}{s}$，则f满足定理1中所有的假设.

问题(1)的能量泛函J定义为

由条件(F₁)-(F₃)与分数阶Trudinger-Moser不等式(2)，可得F(x，u)∈L¹(Ω)，且对$ \forall u, v \in W_{0}^{s, \frac{N}{s}}(\varOmega)$，有f(x，u)v∈L¹(Ω).因此$ J \in C^{1}\left(W_{0}^{s, \frac{N}{s}}(\varOmega), \mathbb{R}\right)$.另外，存在正的常数c和C，使得

通过直接计算可得

引理1^[16]  令(X，‖·‖_X)是实的Banach空间，I∈C¹(X，R)满足I(0)=0，并且满足：

(ⅰ)存在常数ρ，α＞0，使得$ \left.I\right|_{\partial B_{\rho}} \geqslant \alpha$；

(ⅱ)存在e∈X\B_ρ，使得I(e)＜0.

那么常数

存在序列{u_k}⊂X，使得I(u_k)c，I′(u_k)0，其中

引理2^[12]  (Lions-type引理)  假设{u_k}_k是$W_{0}^{s, \frac{N}{s}}(\varOmega) $中的有界序列，满足‖u_k‖=1，u_k⇀u≠0.若$1<p<P=\left(1-\|u\|^{\frac{N}{s}}\right)^{-\frac{s}{N-s}} $，则

引理3  假设条件(F₁)-(F₄)成立，则：

(ⅰ)存在正的常数ρ和δ，使得当‖u‖=ρ时，有J(u)≥δ；

(ⅱ)存在$e \in W_{0}^{s, \frac{N}{s}}(\varOmega) $，使得‖e‖＞ρ，但是J(e)＜0.

证   (ⅰ)   由条件(F₄)，存在τ，δ₀＞0，当|u|≤δ₀，x∈Ω时，我们有

从(4)式可知，存在$r>\frac{N}{s}, C_{1}>0 $，当|u|≥δ₀，x∈Ω时，有

因此

选取ρ＞0使得$ 2 c \rho^{\frac{N}{N-s}} \leqslant \alpha_{N, s}$，由(2)式可得，对$\forall u \in W_{0}^{s, \frac{N}{s}}(\varOmega) $，满足‖u‖=ρ时，有

因为

所以

取

则(ⅰ)得证.

(ⅱ)由条件(F₃)可知，存在正的常数c₁和c₂，对任意的t≥0，使得F(x，t)≥c₁t^θ-c₂，于是

则由$\theta>\frac{N}{s} $知，当t→∞时，有J(tu)→-∞，结果得证.

命题1  若$c<\frac{s}{N}\left(\frac{\alpha_{N, s}}{\alpha_{0}}\right)^{\frac{N-s}{s}} $，则泛函J满足(PS)_c条件.

证  设$\left\{u_{k}\right\} \subset W_{0}^{s, \frac{N}{s}}(\varOmega) $是泛函J的一个(PS)_c序列，即当k→∞时，有

这里当k→∞，ε_k→0时，由条件(F₃)可得

因此，u_k在$W_{0}^{s, \frac{N}{s}}(\varOmega) $中有界.由(7)式和(8)式，我们有

从而存在弱收敛子列，仍然记为{u_k}，在$W_{0}^{s, \frac{N}{s}}(\varOmega) $中，u_k⇀u；对∀r≥1，在L^r(Ω)中，u_k→u；在Ω中，u_k→u几乎处处成立.从文献[14]的引理2.1可知，在L¹(Ω)中，当k→∞时，有f(x，u_k)→f(x，u).由条件(F₁)和广义的Lebesgue控制收敛定理知，在L¹(Ω)中，当k→∞时，有

由(7)式，我们有

利用条件(F₃)和(8)式，可知

所以c≥0.利用(8)式，可得对∀v∈C₀^∞(Ω)，有

利用C₀^∞(Ω)在$W_{0}^{s, \frac{N}{s}}(\varOmega) $中的稠密性，所以，u是问题(1)的一个弱解.

接下来，将分成3种情形讨论：在$W_{0}^{s, \frac{N}{s}}(\varOmega) $中，当k→∞时，u_k→u.

情形1   c=0.

此时，有

这说明

且当k→∞时，‖u_k‖→‖u‖.

情形2   c＞0且u=0.

在此种情形下，由(7)式和(8)式，我们有

这是不可能成立的.因为f是临界增长的，那么，对∀ε＞0和ζ＞1，存在t_ε＞0和C_ε，ζ＞0，使得当|t|≥t_ε，x∈Ω时，有

故有

由

可知存在η∈(0，1)，使得

又因为$\left\|u_{k}\right\|^{\frac{N}{s}} \rightarrow \frac{N}{s} c $，所以，存在k_η＞0，使得对∀k≥k_η，有

故

只需取ε＞0足够小，使得$\alpha_{0}(1+\varepsilon)\left\|u_{k}\right\|^{\frac{N}{N-s}} \leqslant \alpha_{N, s} $成立，那么

由分数阶Trudinger-Moser不等式(2)可知，存在ζ＞1，使得

由(11)式和(8)式，取v=u_k，再由Hölder不等式，当k→+∞时，我们可得

其中$ \frac{1}{\zeta}+\frac{1}{\zeta^{\prime}}=1$，并且ζ＞1.因此c=0，这与所假设的c＞0矛盾.

情形3   c＞0且u≠0.

在此情形中，我们将证c=J(u)，同时，这也说明了

事实上，在$ W_{0}^{s, \frac{N}{s}}(\varOmega)$中，由范数的弱下半连续性知

因此J(u)≤c.反证法，假设J(u)＜c，它等价于

取

因为在$ W_{0}^{s, \frac{N}{s}}(\varOmega)$中，v_k⇀v，v≠0，‖v_k‖=1且‖v‖≤1，所以，由引理2，对$ \forall 1<p<\frac{1}{\left(1-\|v\|^{\frac{N}{s}}\right)^{\frac{s}{N-s}}}$，可得

紧接着，当ζ＞1时，将估计f(x，u_k)的L^ζ范数.由引理2和(10)式可得

其中，对$ \forall 1<p<\frac{1}{\left(1-\|v\|^{\frac{N}{s}}\right)^{\frac{s}{N-s}}}$，需满足$\alpha_{0}(1+\varepsilon)\left\|u_{k}\right\|^{\frac{N}{N-s}} \leqslant p \alpha_{N, s} $.由v的定义可得

因为

所以

其中

即

由J(u)≥0和$ c<\frac{s}{N}\left(\frac{\alpha_{N, s}}{\alpha_{0}}\right)^{\frac{N-s}{s}}$，可选取ε＞0，使得(12)式成立.

定理1的证明  由引理3可知，J存在一个(PS)_c序列{u_k}，并且

由命题1，我们只需证

事实上，由Sobolev嵌入，存在函数w(x)，使得

且‖w‖=S_q.从引理3(ⅱ)，可推断出：当t→+∞时，有J(tw)→-∞.因此，由条件(F₅)可得