考虑分数阶Kirchhoff-Schrödinger-Poisson系统：

其中a，b>0，s，t∈(0，1)，4s+2t>3，(-Δ)^s是分数阶Laplacian算子，定义为

注意到，如果a=1，b=0，则系统(1)称为分数阶Schrödinger-Poisson系统，关于其解的存在性和多重性的结果，可以参考文献[1-5].如果ϕ=0，系统(1)退化为分数阶Kirchhoff方程.一方面，对于经典的Kirchhoff方程，文献[6]用Cerami条件与下降流不变集证明了其在有界区域存在正解、负解、变号解.接着，如果V(x)使得空间有紧嵌入，文献[7]用约束变分方法和定量形变引理得到了最小能量解的存在性，并知其有两个结点域.运用类似于文献[7]的方法，文献[8]证明了分数阶Kirchhoff方程存在变号解.另一方面，对于经典的Schrödinger-Poisson系统，如果f(x，u)=|u|^p-2u且p∈[4，6)，文献[9]使用热流极限法获得了径向变号解的存在性.近来，运用文献[7]的方法，文献[10]得到了带有一般非线性项的分数阶Schrödinger-Poisson系统变号解的存在性.关于变号解的其它结果，我们可参考文献[11-12]及其参考文献.目前，据作者所知，关于系统(1)变号解的情况无人研究，我们将文献[10]中f(x，u)的次临界条件推广为广义次临界条件，得到关于系统(1)的变号解的存在性结果.

现在我们引入空间结构.定义

相应范数为

在本文中，我们将系统(1)的解定义在分数Sobolev空间

上，相应范数为

为了有紧嵌入，我们给位势V(x)加上以下条件：

(V₁) $ V \in C\left(\mathbb{R}^{3}, \mathbb{R}\right)$且$ \inf\limits _{x \in \mathbb{R}^{3}} V(x)>0$.如果当|x|→+∞时，有V(x)→+∞，则对任意2≤q＜2_s^*，H能紧嵌入到$L^{q}\left(\mathbb{R}^{3}\right) $中，其中$2_{s}^{*}=\frac{6}{3-2 s} $为分数阶Sobolev临界指数.

一个更加广义的紧嵌入条件为

(V₂) 存在r₀>0，使得对任意M>0，$ \lim\limits _{|y| \rightarrow+\infty} m\left(\left\{x \in B_{r_{0}}(y) : V(x) \leqslant M\right\}\right)=0$，其中m为Lebesgue测度，B_r0(y)是$\mathbb{R}^{3} $中以y为圆心、r₀>0为半径的开球.

接着，我们假设非线性项f(x，u)满足以下条件：

(f₁) f：$\mathbb{R}^{3} \times \mathbb{R} \longrightarrow \mathbb{R} $是一个Carathéodory函数，且当u→0时，有f(x，u)=o(|u|)对几乎处处$ x \in \mathbb{R}^{3}$一致成立；

(f₂) 存在p∈(4，2_s^*]，使得$ \lim\limits _{u \rightarrow \infty} \frac{f(x, u)}{|u|^{p-1}}=0$对几乎处处$ x \in \mathbb{R}^{3}$一致成立；

(f₃) $\lim\limits _{u \rightarrow \infty} \frac{F(x, u)}{u^{4}}=+\infty $对几乎处处$ x \in \mathbb{R}^{3}$一致成立，其中$F(x, u)=\int_{0}^{u} f(x, t) \mathrm{d} t $；

(f₄) $ \frac{f(x, u)}{|u|^{3}}$关于$u \in \mathbb{R} \backslash\{0\} $单调递增对几乎处处$x \in \mathbb{R}^{3} $一致成立.

由Lax-Milgram定理知

是分数阶Poisson方程$(-\Delta)^{t} \phi=u^{2}\left(x \in \mathbb{R}^{3}\right) $的唯一弱解，其中$ \phi_{u}^{t}(x)$为t-Riesz位势，且

我们回顾一个广义的Hardy-Littlewood-Sobolev不等式：

性质1^[13]   令m，r>1，0 < μ < 3，$\frac{1}{m}+\frac{\mu}{3}+\frac{1}{r}=2, f \in L^{m}\left(\mathbb{R}^{3}\right) $并且$h \in L^{r}\left(\mathbb{R}^{3}\right) $，则存在不依赖于f和h的常数C，使得

由性质1可得

因此，对任意4s+2t≥3，$ \int_{\mathbb{R}^{3}} \phi_{u}^{t} u^{2} \mathrm{d} x$有定义且属于$C^{1}\left(\mathbb{R}^{3}, \mathbb{R}\right) $.与此同时，我们还有：

性质2^[1]   (a)如果4s+2t>3，并且${u_n} \rightharpoonup u(x \in H)$，那么$\int_{\mathbb{R}^{3}} \phi_{u_{n}}^{t} u_{n}^{2} \mathrm{d} x \rightarrow \int_{\mathbb{R}^{3}} \phi_{u}^{t} u^{2} \mathrm{d} x $；

(b) 如果4s+2t≥3，并且u_n→u(x∈H)，那么$ \int_{\mathbb{R}^{3}} \phi_{u_{n}}^{t} u_{n}^{2} \mathrm{d} x \rightarrow \int_{\mathbb{R}^{3}} \phi_{u}^{t} u^{2} \mathrm{d} x$.

由性质2，对任意4s+2t≥3，由条件(f₁)-(f₂)可知系统(1)有变分结构，其能量泛函为

且$\mathscr{L}_{b}(u) \in C^{1}(H, \mathbb{R}) $.于是，对任意v(x)∈H，有

定义：

对局部问题，有下述分解：

由于非局部项$ \left(\int_{\mathbb{R}^{3}} \int_{\mathbb{R}^{3}} \frac{|u(x)-\psi(y)|^{2}}{\left.|x-y|\right|^{3+2 s}} \mathrm{d} x \mathrm{d} y\right)(-\Delta)^{s} u$受(-Δ)^su和$\phi_{u}^{t} $的影响，泛函$ \mathscr{L}_{b}$不再满足以上分解，我们能够计算出：

最后，定义与$\mathscr{L}_{b} $相关的变号Nehari流形和Nehari流形分别为：

本文中，C>0总表示一个常数.我们的主要结果如下：

定理1   假设条件(f₁)-(f₄)及(V₁)-(V₂)成立，那么系统(1)至少有1个基态变号解u_b∈H.

定理2   定理1中的u_b仅变号一次.

我们知道系统(1)的任意变号解属于$ \mathcal{N}_{\mathrm{nod}}^{b}$.然而，与局部情况不同的是，我们不知道$ \mathcal{N}_{\mathrm{nod}}^{b}$是否为空集.因此我们首先需要证明$\mathcal{N}_{\mathrm{nod}}^{b} $非空.

引理1   假设条件(f₁)-(f₄)和(V₁)-(V₂)成立，那么对任意u∈H且u^±≠0，存在唯一的α_u>0，β_u>0，使得$ \alpha_{u} u^{+}+\beta_{u} u^{-} \in \mathcal{N}_{\mathrm{nod}}^{b}$并有$\mathscr{L}_{b}\left(\alpha_{u} u^{+}+\beta_{u} u^{-}\right)=\max\limits _{a ; \beta>0} \mathscr{L}_{b}\left(\alpha u^{+}+\beta u^{-}\right) $.

证   证明类似于文献[10]中引理2.1.

引理2   假设条件(f₁)-(f₄)和(V₁)-(V₂)成立，那么对任意u∈H且u^±≠0，$\left\langle\mathscr{L}_{b}^{\prime}(u), u^{ \pm}\right\rangle \leqslant 0 $，则引理1中的α_u，β_u满足0 < α_u，β_u≤1.

证   证明类似于文献[10]中引理2.2.

引理3   假设条件(f₁)-(f₄)和(V₁)-(V₂)成立，那么

在某个u_b∈H可达，并且c_nod^b>0.

证   证明思想大部分与文献[10]中引理2.3和引理2.4相似.不同的是，在证明u_b^±≠0时，由条件(f₁)及广义次临界条件(f₂)可知，对任意ε>0，存在C_ε>0和4 < r < 2_s^*，使得

再由(2)式、$\left\langle\mathscr{L}_{b}^{\prime}\left(u_{n}\right), u_{n}\right\rangle= 0 $和Sobolev嵌入定理，对任意r∈(4，2_s^*)，我们有

(3) 式意味着‖u_n‖≥κ>0，且{u_n}在H中有界.因此存在子列，仍然记作{u_n}，有：

同样地，我们有‖u_n^±‖>0.

接下来由(4)式可知，对任意r∈(4，2_s^*)，有：

由(4)式与ε的任意性得

我们可从(5)，(6)式和广义控制收敛定理得出

如果u_b⁺=0，那么$\lim\limits _{n \rightarrow+\infty} f\left(x, u_{n}^{+}\right) u_{n}^{+}=0 $，这与‖u_n⁺‖>0矛盾.因此u_b⁺≠0.类似于上述证明，可以得到

且u_b^-≠0.

定理1的证明   我们用定量形变引理去证明$\mathscr{L}_{b}^{\prime}\left(u_{b}\right)=0 $.因为$ u_{b} \in \mathcal{N}_{\mathrm{nod}}^{b}$，且

由引理1知，对任意$ (\alpha, \beta) \in \mathbb{R}_{+} \times \mathbb{R}_{+}$且(α，β)≠(1，1)，有

假设$ \mathscr{L}_{b}^{\prime}\left(u_{b}\right) \neq 0$，那么存在τ＞0及δ>0，使得对任意‖v-u_b‖≤3δ有$ \left\|\mathscr{L}^{\prime}(v)\right\| \geqslant \tau$.令：

再次使用引理1，可得

定义：

文献[14]中引理2.3告诉我们，存在形变η∈C([0, 1]×H，H)，使得：

(a) 如果$u \notin \mathscr{L}_{b}^{-1}\left(\left[c_{\mathrm{nod}}^{b}-2 \varepsilon, c_{\mathrm{nod}}^{b}+2 \varepsilon\right]\right) \cap S_{2 \delta} $，则η(1，u)=u；

(b) $ \eta\left(1, \mathscr{L}_{b}^{b_{\mathrm{nod}}^{b}+\varepsilon} \cap S_{\delta}\right) \subset \mathscr{L}_{b}^{c_{\mathrm{nod}}^{b}-\varepsilon}$；

(c) 对任意$ u \in H, \mathscr{L}_{b}(\eta(1, u)) \leqslant \mathscr{L}_{b}(u)$.

于是$\max\limits _{(\alpha, \beta) \in \overline{D}} \mathscr{L}_{b}(\eta(1, h(\alpha, \beta)))<c_{\mathrm{nod}}^{b} $.

现在我们证明$\eta(1, h(D)) \cap \mathcal{N}_{\mathrm{nod}}^{b} \neq \emptyset $，这与c_nod^b的定义矛盾.令：

由引理1和度理论，有deg(φ，D，0)=1.再根据(7)式，可验证$ \left.h\right|_{\partial D}=\left.h_{1}\right|_{\partial D}$，或等价地有$ \left.\phi\right|_{\partial D}=\left.\varphi_{1}\right|_{\partial D}$.由度的边界值性质可知deg(φ₁，D，0)=deg(φ，D，0)=1.因此对某个(α₀，β₀)∈D，我们有φ₁(α₀，β₀)=0，这一点使得$ h_{1}\left(\alpha_{0}, \beta_{0}\right)=\eta\left(1, h\left(\alpha_{0}, \beta_{0}\right)\right) \in \mathcal{N}_{m d}^{b}$，这是不可能的.因此$\mathscr{L}_{b}^{\prime}\left(u_{b}\right)=0 $，即u_b是系统(1)的变号解.

定理2的证明   假设

且

令v=u₁+u₂，有v⁺=u₁，v^-=u₂，那么v^±≠0.通过引理1，存在唯一的α_v>0，β_v>0，使得α_vv⁺+β_vv^-∈ $ \mathcal{N}_{\mathrm{nod}}^{b}$，或等价地有$\alpha_{v} u_{1}+\beta_{v} u_{2} \in \mathcal{N}_{\mathrm{nod}}^{b} $，所以$\mathscr{L}_{b}\left(\alpha_{v} v^{+}+\beta_{v} v^{-}\right) \geqslant c_{\mathrm{nod}}^{b}$.与此同时，$\left\langle\mathscr{L}_{b}^{\prime}\left(u_{b}\right), u_{i}\right\rangle= 0 $导致了$\left\langle\mathscr{L}_{b}(v), v^{ \pm}\right\rangle< 0(i=1, 2, 3) $，再由引理2得到0 < α_v，β_v≤1.

定义：

一方面，由条件(f₄)可知

另一方面，由(8)式，且0 < α_v，β_v≤1，可推出

这是不可能的，因此u₃=0，所以u_b仅变号一次.