研究如下一类带临界指数项的Kirchhoff-Schrödinger-Poisson系统：

其中Ω⊂$\mathbb{R}$³是有界开区域且具有光滑边界∂Ω，a，b>0，f为满足如下条件的非线性项：

(f₁)f∈C(Ω×$\mathbb{R}$，$\mathbb{R}$)，当s≤0时，f(x，s)=0，存在非空开集ω⊂Ω，对几乎处处的x∈ω和所有u≥0，都有f(x，u)≥0；

(f₂) $\mathop {{\rm{lim}}}\limits_{s \to {0^ + }} \frac{{f(x, {\rm{ }}s)}}{s} = 0, \mathop {{\rm{lim}}}\limits_{s \to + \infty } \frac{{f(x, {\rm{ }}s)}}{{{s^5}}} = 0$；

(f₃)对∀(x，s)∈(Ω×$\mathbb{R}$₊)，都有f(x，s)s-4F(x，s)≥-aλ₁s²，其中F(x，s)=$\int_0^s $f(x，t)dt，λ₁>0为-Δ的第一个特征值；

(f₄)∀x∈ω都有$\mathop {{\rm{lim}}}\limits_{s \to + \infty } \frac{{f(x, s)}}{{{s^3}}} = + \infty $，其中ω为(f₁)中所定义.

6为Sobolev空间H₀¹(Ω)嵌入到空间L^p(Ω)(p∈[1, 6])的临界指数. $\int_\mathit{\Omega}$|$\nabla $u|²dx是Kirchhoff型非局部项.记‖u‖=($\int_\mathit{\Omega}$|$\nabla $u|²dx)$^{\frac{1}{2}}$和|u|_p=($\int_\mathit{\Omega}$|u|^pdx)$^{\frac{1}{p}}$分别为空间H₀¹(Ω)和L^p(Ω)中的标准范数.

当a=1，b=0时，系统(1)退化为Schrödinger-Poisson系统.众所周知，Schrödinger-Poisson系统在无界区域中有很多结果，但在有界区域中，有关Schrödinger-Poisson系统的结果相对就很少了，如文献[1-5].特别地，当f(x，u)=λu^q-1(1 < q < 2)时，文献[3]研究了系统(1)，即

当λ>0充分小时，利用变分方法，文献[3]获得了两个正解，并指出了其中一个解是基态解.当f(x，u)=λ|x|^βu^-γ(0 < γ < 1)时，文献[4]研究了系统(1)，当$0 < \beta < \frac{{5 + \gamma }}{2}$以及λ>0充分小时，获得了系统(1)的一个正解；当$2 + \gamma < \beta < \frac{{5 + \gamma }}{2}$时，获得了系统(1)的两个正解.文献[5]研究了系统(1)非平凡解的存在性.

文献[6-9]研究了带奇异项的Kirchhoff-Schrödinger-Poisson系统，并获得了一些正解的存在性结果.其他相关结果，可查阅文献[10-12]及其参考文献.据查阅文献显示，还没有关于临界系统(1)的研究结果.本文利用变分方法和临界点理论，获得了系统(1)正解的存在性.具体结论如下：

定理1  假设a，b>0，f满足条件(f₁)-(f₄)，则系统(1)至少存在一个正解(u_*，ϕ_u*)∈H₀¹(Ω)×H₀¹(Ω).

对∀u∈H₀¹(Ω)，根据Lax-Milgram定理，系统(1)中的第二个方程

存在唯一解ϕ_u∈H₀¹(Ω).用ϕ_u替换系统(1)中的第一个方程中的ϕ，系统(1)就被转化为如下方程：

从而，求系统(1)的解就转化为求方程(3)的解.

对任意的u∈H₀¹(Ω)，方程(3)对应的能量泛函为

其中u^±=max{±u，0}.对任意的φ∈H₀¹(Ω)，有

若u∈H₀¹(Ω)为方程(3)的解，则(u，ϕ_u)为系统(1)的解.

记

为最佳Sobolev常数.众所周知，函数

是极小问题(4)的极值函数.从而，对于某个正常数C>0，U(x)是临界问题

的解，且‖U‖²=|U|₆⁶=S$^{\frac{3}{2}}$.

首先，根据文献[6]的引理2.1，方程(2)的解ϕ_u具有如下重要性质结论：

命题1^[6] (1^°) ‖ϕ_u‖²=$\int_\mathit{\Omega}$ϕ_uu²dx；

(2^°)ϕ_u≥0，且当u>0时，有ϕ_u>0；

(3^°)对∀t∈$\mathbb{R}$且t≠0，有ϕ_tu=t²ϕ_u；

(4^°)$\int_\mathit{\Omega}$ϕ_uu²dx=$\int_\mathit{\Omega}$|$\nabla $ϕ_u|²dx≤S^-1|u|$_{\frac{{12}}{5}}^4 $≤S^-1|u|₄⁴|Ω|$^{\frac{2}{3}}$≤S^-3‖u‖⁴|Ω|；

(5^°)如果在H₀¹(Ω)空间中有u_n$\rightharpoonup$u，那么在H₀¹(Ω)空间中有ϕ_un→ϕ_u，且对∀φ∈H₀¹(Ω)，有$\int_\mathit{\Omega}$ϕ_unu_nφdx→$\int_\mathit{\Omega}$ϕ_uuφdx；

(6^°)记Φ(u)=$\int_\mathit{\Omega}$ϕ_uu²dx，则Φ：H₀¹(Ω)→H₀¹(Ω)是可微的，且对∀φ∈H₀¹(Ω)，有(Φ'(u)，φ)=4$\int_\mathit{\Omega}$ϕ_uuφdx.

下面，证明能量泛函I在H₀¹(Ω)空间中具有山路几何结构.

引理1  假设a，b>0，且条件(f₁)与(f₂)成立，则存在正常数δ，ρ>0，使得：

(ⅰ) 对∀u∈S_ρ={u∈H₀¹(Ω)：‖u‖=ρ}，都有I(u)≥δ；

(ⅱ) 存在e∈H₀¹(Ω)且‖e‖>ρ，使得I(e) < 0.

证  (ⅰ)根据条件(f₁)与(f₂)，存在常数C₁>0，使得对∀(x，s)∈Ω×$\mathbb{R}$，都有

则依据Poincaré不等式和Sobolev不等式，可得

其中C₂>0为常数.这就意味着：存在正常数δ，ρ>0，使得对∀u∈S_ρ={u∈H₀¹(Ω)：‖u‖=ρ}都有I(u)≥δ.

(ⅱ) 再次利用条件(f₁)与(f₂)，对∀ε>0，存在正常数C_ε>0，使得|F(x，s)|≤ε|s|⁶+C_ε.从而，任取u∈H₀¹(Ω)且u⁺≠0，可得

再根据ε的任意性，可得

因此，结合命题1中的性质(3^°)，进一步可得

这就意味着：必定存在t₀>0，使得‖t₀u‖>ρ且I(t₀u) < 0.令e=t₀u.引理1证毕.

接下来，证明泛函I在H₀¹(Ω)上满足局部(PS)_c条件.

引理2  假设a，b>0以及条件(f₁)-(f₃)成立，则对∀c∈(0，Λ)，I在H₀¹(Ω)上满足局部(PS)_c条件，其中

证  假设{u_n}是I在H₀¹(Ω)上的局部(PS)_c序列，即当n→+∞时有

我们断言：{u_n}是H₀¹(Ω)上的有界序列.事实上，由条件(f₁)与(f₂)，存在常数C₃>0，使得对∀(x，s)∈Ω×$\mathbb{R}$，都有$\left| {\frac{1}{5}f(x, s)s - F(x, s)} \right| \le \frac{1}{{30}}|s{|^6} + {C_3}$.再结合(6)式，可得

则{u_n}在H₀¹(Ω)上有界.从而存在子列(仍记为{u_n})，以及u∈H₀¹(Ω)，使得当n→∞时，在H₀¹(Ω)中有u_n$\rightharpoonup$u，在L^s(Ω)(1≤s < 6)中有u_n→u，在Ω中有u_n(x)→u(x)几乎处处成立.由条件(f₂)，可得

令w_n=u_n-u，只需证明$\mathop {{\rm{lim}}}\limits_{n \to \infty } $‖w_n‖=l=0.假设l>0.因为在H₀¹(Ω)中u_n$\rightharpoonup$u，根据Brézis-Lieb引理^[13]，可得

其中o(1)是n→∞时的无穷小量.由(6)式和(8)式以及命题1中的性质(5^°)，可得

进一步，结合(10)-(12)式，可得

再次利用(6)式和(7)式，可得

一方面，根据(14)式和条件(f₃)，可得

另一方面，根据(9)式以及(13)-(14)式，可得

由(4)式，可得$\int_\mathit{\Omega}$(w_n⁺)⁶dx≤$\int_\mathit{\Omega}$|w_n|⁶dx≤$\frac{{{{\left\| {{w_n}} \right\|}^6}}}{{{S^3}}}$，从而根据(16)式，可得al²+bl⁴+bl²‖u‖²≤$\frac{{{l^6}}}{{{S^3}}}$，则

因此，由(16)-(18)式，可得

这与(15)式矛盾.因此l≡0，即当n→∞时，在H₀¹(Ω)中有u_n→u.则对∀c∈(0，Λ)，I在H₀¹(Ω)上满足局部(PS)_c条件.

接着，估计山路水平值，获得如下结论：

引理3  假设a，b>0以及条件(f₁)，(f₂)，(f₄)成立，则存在u₀∈H₀¹(Ω)，使得$\mathop {{\rm{sup}}}\limits_{t \ge 0} $ I(tu₀) < Λ，其中Λ为引理2所定义.

证  不妨设0∈ω，定义截断函数η∈C₀^∞(Ω)且|$\nabla $η| < C₄，固定一个δ(0 < δ < 1)，使得B_2δ(0)⊂ω，且当|x|≤δ时，η(x)=1；当|x|≥2δ时，η(x)=0；当x∈B_2δ(0)时，0≤η(x)≤1.定义

由文献[13]，可得

进一步，可得

对∀t≥0，定义I(tu_ε)为

根据条件(f₁)和(f₂)，可得

关于0 < ε < ε₀一致成立，其中ε₀>0为充分小的正常数.因此，存在t_ε>0，使得sup_t≥0I(tu_ε)=I(t_εu_ε).容易证得：存在两个与ε无关的正常数t₀和T₀，使得t₀ < t_ε < T₀.令

则有

令I'_ε(t)=0，则

可得

因此，对∀0 < t < T_ε，有I'_1ε(t)>0.而当t>T_ε时有I'_1ε(t) < 0，且I_ε(t)在T_ε处达到最大值.从而，根据(19)-(22)式，可得

令${I_{2\varepsilon }}(t) = \frac{{{t^4}}}{4} \int_\mathit{\Omega}$ϕ_uεu_ε²dx，则根据文献[3]中的引理2.6可得

令I_3ε(t)=$\int_\mathit{\Omega}$F(x，tu_ε)dx，我们断言：

定义m(t)=$\mathop {{\rm{inf}}}\limits_{x \in \omega } $ f(x，t)，根据条件(f₁)和(f₄)，对∀x∈ω和t>0，可得

故对∀μ>0，存在A>0，使得对∀t≥A都有M(t)≥μt⁴，其中M(t)=$ \int_0^t $m(s)ds.从而，可得

由于对∀t>0有m(t)>0，容易得到M(t)在t>0时为单调递增函数.结合条件(f₂)，可得M(t)≤Ct²对任意充分大的t>0都成立.因此，对ε>0充分小时，有

固定A，则存在B>0，使得对∀1 < r < Bε$^{ - \frac{1}{2}}$都有$\frac{{{t_\varepsilon }{3^{\frac{1}{4}}}{\varepsilon ^{ - \frac{1}{2}}}}}{{{{(1 + {r^2})}^{\frac{1}{2}}}}} \ge A$.进一步，可得

故根据(26)-(28)式，可知断言成立，即(25)式成立.因此，根据(23)式、(24)式、(25)式，有

从而，取u₀=u_ε，引理3得证.

定理1的证明  定义

根据引理1-3，存在序列{u_n}⊂H₀¹(Ω)，使得I(u_n)→c>0且I'(u_n)→0，则序列{u_n}在H₀¹(Ω)中存在收敛子列(仍记为{u_n}).不妨假设在H₀¹(Ω)中u_n→u_*.从而根据山路引理，可得$\mathop {{\rm{lim}}}\limits_{n \to \infty } $ I(u_n)=I(u_*)=c>0且I'(u_*)=0.因此，u_*是方程(3)的非零解.进一步，由〈I'(u_*)，u_*^-〉=0，可得u_*^-=0，即u_*≥0在Ω中几乎处处成立.所以u_*是非零非负解.根据强极大值原理可得，u_*是方程(3)的正解.因此，(u_*，ϕ_u*)是系统(1)的正解.