Search Advanced

Message Board

Dear readers, authors and reviewers,you can add a message on this page. We will reply to you as soon as possible!

2023 Volume 48 Issue 4
Article Contents
Previous Article Next Article

SU Yingying, ZHANG Qihao, LUO Yu, et al. NOx Emission Forecasting Based on AE-LSTM Hybrid Neural Network[J]. Journal of Southwest China Normal University(Natural Science Edition), 2023, 48(4): 23-31. doi: 10.13718/j.cnki.xsxb.2023.04.003
Citation: SU Yingying, ZHANG Qihao, LUO Yu, et al. NOx Emission Forecasting Based on AE-LSTM Hybrid Neural Network[J]. Journal of Southwest China Normal University(Natural Science Edition), 2023, 48(4): 23-31. doi: 10.13718/j.cnki.xsxb.2023.04.003
shu

NOx Emission Forecasting Based on AE-LSTM Hybrid Neural Network

  • College of Electrical Engineering, Chongqing University of Science and Technology, Chongqing 401331, China

More Information
  • Corresponding author: LUO Yu ; 
  • Received Date: 17/04/2022
    Available Online: 20/04/2023

  • MSC: TK223

  • By establishing an effective NOx concentration prediction model, the NOx emissions from waste incineration plants can be reduced. The NOx concentration is affected by multiple process variables. A NOx concentration prediction method based on an autoencoder (AE) and a long short-term memory neural network (LSTM) is proposed, taking into account the temporal and spatial features of the variables. The autoencoder(AE) is used to extract the deep-level multidimensional information features of the original data and transform them into low-dimensional data features, which can preserve a large amount of information from the original data while reducing the complexity of the prediction network. The long short-term memory neural network (LSTM) is used to establish the NOx concentration prediction model, which can automatically identify the temporal and spatial features in the data and is used to train and optimize the LSTM network parameters. This study takes the combustion data of a boiler in a waste incineration plant in Chongqing as the research object and uses data mining technology to process the original data. Then, the autoencoder(AE) is used to extract the deep-level multidimensional information features of the data, which are input into the LSTM network for modeling. The improved AE-LSTM NOx concentration prediction model is established by training and optimizing the LSTM network parameters with standardized operating condition data. Experimental results show that the improved model increases the prediction accuracy by 5.4% and reduces the root-mean-square error by 0.128 compared to the LSTM model, demonstrating that the method adopted in this study has good application value and can effectively reduce NOx emissions from waste incineration plants.
  • 加载中
  • [1] MUNAWER M E. Human Health and Environmental Impacts of Coal Combustion Andpost-Combustion Wastes[J]. Journal of Sustainable Mining, 2018, 17(2): 87-96. doi: 10.1016/j.jsm.2017.12.007

    CrossRef Google Scholar

    [2] MCDONALD J, KIRK T, SURBEY D J, et al. Low NoX Burner Apparatus: US6394792[P]. 2002-05-28.

    Google Scholar

    [3] MISHRA Y, JUREMALANI J, NIHALANI S A. Emission Control Technologies for Thermal Power Plants[C]//International Conference on Recent Advances in Materials, Mechanical and Civil Engineering, Hyderabad, Indonesia: ICRAMMCE 2017, 2018: 1054 - 1059.

    Google Scholar

    [4] SHEN Z. Simulation of Nox Reduction in Power Plant Flue Gas[D]. Bethlehem, United States: Lehigh University, 2017.

    Google Scholar

    [5] 苏盈盈, 李太福, 康东帅, 等. 多层线性神经网络与单层线性神经网络的等效性研究[J]. 西南师范大学学报(自然科学版), 2017, 42(12): 105-112.

    Google Scholar

    [6] OKO E, WANG M H, ZHANG J. Neural Network Approach for Predicting Drum Pressure and Level in Coal-Fired Subcritical Power Plant[J]. Fuel, 2015, 151: 139-145. doi: 10.1016/j.fuel.2015.01.091

    CrossRef Google Scholar

    [7] ILAMATHI P, SELLADURAI V, BALAMURUGAN K, et al. ANN-GA Approach for Predictive Modeling and Optimization of NOx Emission in a Tangentially Fired Boiler[J]. Clean Technologies and Environmental Policy, 2013, 15(1): 125-131. doi: 10.1007/s10098-012-0490-5

    CrossRef Google Scholar

    [8] TAN P, ZHANG C, XIA J, et al. NOx Emission Model for Coal-Fired Boilers Using Principle Component Analysis and Support Vector Regression[J]. Journal of Chemical Engineering of Japan, 2016, 49(2): 211-216. doi: 10.1252/jcej.15we066

    CrossRef Google Scholar

    [9] LV Y, LIU J Z, YANG T T, et al. A Novel Least Squares Support Vector Machine Ensemble Model for NOx Emission Prediction of a Coal-Fired Boiler[J]. Energy, 2013, 55: 319-329. doi: 10.1016/j.energy.2013.02.062

    CrossRef Google Scholar

    [10] TAN P, XIA J, ZHANG C, et al. Modeling and Reduction of NOx Emissions for a 700MW Coal-Fired Boiler with the Advanced Machine Learning Method[J]. Energy, 2016, 94: 672-679. doi: 10.1016/j.energy.2015.11.020

    CrossRef Google Scholar

    [11] LI G Q, NIU P F. Combustion Optimization of a Coal-Fired Boiler with Double Linear Fast Learning Network[J]. Soft Computing, 2016, 20(1): 149-156. doi: 10.1007/s00500-014-1486-3

    CrossRef Google Scholar

    [12] 顾燕萍, 赵文杰, 吴占松. 基于最小二乘支持向量机的电站锅炉燃烧优化[J]. 中国电机工程学报, 2010, 30(17): 91-97.

    Google Scholar

    [13] 李勤道, 韩璞, 高芳, 等. 超超临界机组锅炉效率与NOx排放的建模研究[J]. 计算机仿真, 2013, 30(5): 129-132, 147.

    Google Scholar

    [14] 牛培峰, 赵振, 马云鹏, 等. 基于风驱动算法的锅炉NOx排放模型优化[J]. 动力工程学报, 2016, 36(9): 732-738.

    Google Scholar

    [15] 马云鹏, 牛培峰, 陈科, 等. 基于混沌分组教与学优化算法锅炉NOx模型优化研究[J]. 计量学报, 2018, 39(1): 125-129.

    Google Scholar

    [16] 董泽, 马宁, 孟磊. 基于差分量子粒子群算法的锅炉NOx排放模型优化[J]. 动力工程学报, 2019, 39(3): 191-197.

    Google Scholar

    [17] 牛培峰, 彭鹏. 基于改进最优觅食算法的锅炉NOx排放预测研究[J]. 计量学报, 2020, 41(7): 879-885.

    Google Scholar

  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(7)  /  Tables(4)

Export Citation
PDF
XML

Article Metrics

Article views(1733) PDF downloads(615) Cited by(0)

Access History

Other Articles By Authors

NOx Emission Forecasting Based on AE-LSTM Hybrid Neural Network

    Corresponding author: LUO Yu ; 
  • Received Date: 17/04/2022
  • Available Online: 20/04/2023

Abstract: By establishing an effective NOx concentration prediction model, the NOx emissions from waste incineration plants can be reduced. The NOx concentration is affected by multiple process variables. A NOx concentration prediction method based on an autoencoder (AE) and a long short-term memory neural network (LSTM) is proposed, taking into account the temporal and spatial features of the variables. The autoencoder(AE) is used to extract the deep-level multidimensional information features of the original data and transform them into low-dimensional data features, which can preserve a large amount of information from the original data while reducing the complexity of the prediction network. The long short-term memory neural network (LSTM) is used to establish the NOx concentration prediction model, which can automatically identify the temporal and spatial features in the data and is used to train and optimize the LSTM network parameters. This study takes the combustion data of a boiler in a waste incineration plant in Chongqing as the research object and uses data mining technology to process the original data. Then, the autoencoder(AE) is used to extract the deep-level multidimensional information features of the data, which are input into the LSTM network for modeling. The improved AE-LSTM NOx concentration prediction model is established by training and optimizing the LSTM network parameters with standardized operating condition data. Experimental results show that the improved model increases the prediction accuracy by 5.4% and reduces the root-mean-square error by 0.128 compared to the LSTM model, demonstrating that the method adopted in this study has good application value and can effectively reduce NOx emissions from waste incineration plants.

    HTML

  • 从环境保护的角度考虑，垃圾焚烧厂需要建立一个能够反映锅炉燃烧变量和排放尾气NOx浓度之间关系的模型，以便能够快速响应对NOx尾气的控制. NOx是垃圾焚烧发电厂的主要排放物之一，对环境和人类健康有害[1]. 人们已经考虑采用不同的技术来减少NOx的排放，例如低NOx燃烧技术[2]、选择性催化还原(Selective Catalytic Reduction，SCR)和非催化还原(Selective Non-Catalytic Reduction，SNCR)技术[3-4].

    随着机器学习的不断发展，许多研究者开始利用神经网络(Artificial Neural Network，ANN)[5]对NOx浓度进行建模和预测. 其中，文献[6]引入了一个具有外部输入神经网络的非线性自回归模型，以建立一个动态模型来预测NOx的排放. 文献[7]使用人工神经网络开发了一个预测210MW煤粉锅炉满负荷条件下NOx排放的模型，并发现所提出的方法可用于生成可行的运行条件. 除了人工神经网络，支持向量机(Support Vector Machine，SVM)[8-9]和极限学习机(Extreme Learning Machine，ELM)[10-11]也被引入用以模拟燃煤电厂NOx的排放. 这些预测模型和方法都是在原有模型上进行的改进，虽然预测精度有所提高，但是同时也带来了更大的时间开销.

    由于浅层网络模型的泛化能力不强，不能很好地适用于多种对象，因此，通过加深网络深度可优化浅层网络模型. 文献[12-13]建立了最小二乘支持向量机LS-SVM预测模型，实现排放量等多种参数的软测量，随后将建立的模型与BP(Back Propagation，BP)神经网络模型进行对比，结果表明基于最小二乘支持向量机的网络模型的预测结果和运行速度均优于BP神经网络模型. 文献[14]采用风驱动算法和基于混沌分组教与学算法优化极端学习机的NOx模型，通过参数调整及模型优化方法对NOx的预测提供了指导. 文献[15]采用混沌分组教与学优化算法对NOx的预测建模，该模型具有较好的辨识与泛化能力，可以为解决工程实际问题提供思路. 文献[16]在超临界机组的基础上，提出了一种改进的差分量子粒子群(Differential Evolution Quantum Particle Swarm Optimization，DEQPSO)算法，将其与极限学习机ELM相结合从而达到对NOx的排放预测. 文献[17]提出了一种改进的最优觅食算法，并用该算法对锅炉NOx的排放特性进行建模. 然而，上述运用传统的方式搭建的神经网络注重于数据的内部时序特征，却忽略了数据内部的空间特征联系，导致其模型对NOx的浓度预测精度低.

    为了提高模型预测精度，本研究提出了一种基于自动编码器(AE)和长短期记忆神经网络(LSTM)的预测模型. 首先，对原始数据进行标准化处理，剔除掉数据的异常值和缺失值；然后，使用AE自动编码器来提取数据深层次的多维信息特征；最后，将标准化后得到的数据输入LSTM网络中进行建模，并优化网络参数，建立基于AE-LSTM的NOx浓度预测模型. 最终，以重庆市某垃圾焚烧厂某锅炉的燃烧数据作为研究对象来验证该预测模型的准确性.

1.   LSTM网络模型

  • 长短期记忆(Long Short Term Memory，LSTM)网络是一种具有记忆机制的神经网络，可以处理不同时间步的序列长度，以及能够学习到时间序列的关系等特点，因此可以非常有效地进行时间序列的建模.

    LSTM与循环神经网络(Recurrent Neural Network，RNN)最主要的不同就是LSTM有多个门控机制，如图 1所示的LSTM细胞图结构，其中，红色圆圈代表Sigmoid函数，蓝色圆圈代表Tanh函数，输入门可以控制数据信息通过该门进入到LSTM细胞中；遗忘门可以决定LSTM细胞对数据的遗忘程度，即保留或者丢弃数据信息；输出门则控制LSTM细胞的输出.

    数据在经过输入xt，隐藏层ht的输出以及上一单元的输出ht－1后，由此得到输入状态为$\widetilde{C_t}$，输出状态为Ct和先前的状态为Ct－1. 此外，门状态取it，ft和ot. Ct和ht通过网络传播.

    为了获得这2个值，第一，需要计算3个门的状态和单元输入的状态：

    1) 输入门Input gate

    其中，$\widetilde{C_t}$为输入状态，ht－1为上一单元的输出，xt为当前时刻的输入，bi为输入门的偏置，bc为细胞入口的偏置.

    2) 遗忘门Forget gate

    遗忘门决定应丢弃或保留“哪些信息”.

    其中，ft为0~1之间的数，ht－1为上一单元的输出，xt为当前时刻的输入.

    3) 输出门Output gate

    W10为连接xt到输出门的权重数组，Wh0为将ht－1连接到输出门的权重矩阵.

    第二，计算单元的输出状态：

    其中，Ct，it，$\widetilde{C_t}$，ft，Ct－1具有相同的矩阵大小.

    第三，计算隐藏层的输出：

    单元的输出定义为

    其中，W2是2个元素之间的权重，b为输入层和输出层的偏置.

    LSTM网络模型如图 2所示，包含输入层、2个隐含LSTM层、2个Dropout层和一个Dense全连接层，共6个部分组成. 该模型是用于NOx数据处理的，数据首先经过输入层后进入第一层隐含LSTM层，LSTM单元计算处理后得到输出状态和隐藏状态. 为了避免过拟合，经过一个Dropout层进行正则化处理后，数据再次输入到第二层隐含LSTM层，得到新的输出状态和隐藏状态. 在这之后，数据再经过一个Dropout层进行正则化处理，以进一步减少过拟合. 最后，正则化后的数据输入到Dense全连接层，计算预测值，并输出NOx浓度的预测结果.

2.   AE-LSTM混合神经网络模型

    2.1.   AE-LSTM网络结构

  • 自动编码器(Autoencoder，AE)是一种网络模型，对于神经网络的发展起到了促进作用，尤其在对高维复杂数据的特征提取方面具有重要作用. 自动编码器的网络结构图如图 3所示. 它是一种单隐含层的无监督学习模型，自动编码器通过对内在特征的不断持续学习，对输入层和输出层进行误差计算，使得两者之间的误差尽可能小，从而得到高维数据的特征输出. 这个过程起到了数据降维的作用，其作用类似于主成分分析法、因子分析法等. 与传统的数据降维方法相比，自动编码器能够更有效地提取新特征.

    如上图所示，自动编码器的输入为x1，x2，x3，…，xn，通过编码过程得到隐含层的输出为h1，h2，h3，…，hn，再将隐含层的输出经过解码过程到输出层得到x′1，x′2，x′3，…，x′n，计算输入层数据与输出层数据的误差(xn－x′n)2，人工创建编码器的输出特征，在特定范围内可以代表原始数据集. 编码过程如下所示：

    其中，h为自动编码器的编码函数输出，也称之为隐含层的特征变量，S为自动编码器编码过程的激活函数，一般使用Sigmoid函数，W为输入层到隐含层的网络连接权重，b为网络偏置. 通过解码过程得到输出层数据，再通过解码与编码的过程重构原始数据，保留原始数据中的重要特征. 解码过程为

    其中，x′为解码器的重构信息，S为自动编码器解码过程的激活函数，该激活函数使用Sigmoid函数，WT为隐含层到输出层的网络连接权重，b′为网络偏置.

    经过自动编码器的编码和解码过程后，输入数据x映射为隐含层的特征h，再将特征h重构后输出为x′. 为了确保最后的输出特征能够有效地代表原始数据，保留有原始数据的大部分信息，所以需要计算输入数据和输出数据的误差，对于自动编码器的误差损失函数通常为均方误差，公式如下：

    自动编码器能够自动将高维数据特征提取至低维数据特征，同时还能保留原始数据的大量信息，保证数据的有效性不受破坏. 这些低维数据特征可以被输入到LSTM神经网络中，LSTM网络通过不断学习权重参数来获得收敛，降低网络的预测复杂性，从而提高了预测的性能. AE-LSTM神经网络的结构如图 4所示，该网络结构由两部分组成，第一部分是自动编码器，利用自动编码器将输入数据的高阶特征转换为低阶特征，并保留原始数据的信息. 第二部分是LSTM神经网络，该部分将自动编码器输出的低阶有效数据输入到网络中，并对NOx进行预测，从而得到预测值.

    • 2.2.   AE-LSTM模型预测设计框架

  • AE-LSTM模型的预测过程如图 5所示. 首先，预处理好的数据集被划分为训练集和测试集. 训练集用于训练模型的内部参数，得到收敛的预测模型，而测试集用于监测模型的预测性能. 具体而言，原始数据首先输入自动编码器中，通过自动编码器的编码和解码过程得到低维度数据特征，然后将此数据输入LSTM网络中，经过LSTM网络的学习和调整，得到收敛的AE-LSTM网络. 最后，将训练好的模型用于测试集上，得到预测值和真实值，并使用准确率和误差等指标来评估模型的性能.

    1) 将处理好的数据矩阵划分成训练集与测试集；

    2) 将数据输入AE中得到低维数据特征；

    3) 确定AE-LSTM网络的结构；

    4) 计算网络神经元的LOSS；

    5) 利用优化算法调整各层的连接权重；

    6) 达到迭代次数，网络训练结束，获得收敛的AE-LSTM网络；

    7) 将测试集输入收敛的网络中，输出预测值，并计算准确率和误差，模型结束.

3.   基于AE-LSTM的NOx排放预测

    3.1.   研究对象

  • 工业预测的有效性很大程度上取决于数据的质量，因此数据预处理工作非常重要. 本文使用的变量相关数据集来自于重庆市某垃圾焚烧厂的锅炉垃圾焚烧系统，如下表 1所示. 通过数据挖掘技术对原始数据中的异常值、缺失值进行处理，再消除数据共线性，最后对数据进行标准化处理，这些操作可以获得有效和可用的数据，有利于提高预测模型的性能.

    • 3.2.   数据异常值和缺失值的处理

  • 根据数据缺失的机理，可以将缺失值分为以下3类：完全缺失、随机缺失和不完全缺失. 通过对每个变量定义合理的取值范围，检查数据是否符合实际工况要求，并消除原始数据中的噪声，可以提高原始数据的质量. 在数据预处理中，本文使用了样本均值来填充缺失镇，以提升数据的完整性. 如表 2为通过数学统计的方法来对数据进行的分析，分别计算每个变量的平均值、中位数、最大值、最小值、1stQu(25%值)和3stQu(75%值). 另外，本文的数据集会用平均值对缺失值进行填充.

    • 3.3.   数据共线性的消除与标准化

  • 垃圾焚烧锅炉中相关的工艺变量共89维，变量间存在普遍的相关关系即共线性会影响模型的运行，降低预测精度. 为了提高NOx预测的精度，计算各变量的相关系数，以消除共线性. 通过反复测试，发现当删除相关性系数大于0.9的数据后，能够在线性范围内消除数据之间的共线性，使得模型精度最佳. 因此最终得到了56维的工艺变量.

    标准化是一项重要技术，通常在许多机器学习模型之前作为预处理步骤执行. 本文的研究对象为垃圾焚烧NOx预测，采用Z-score标准化的方式对数据的量纲进行统一的去量纲处理，该处理方法对于模型的学习速度和训练速度都有所提升. 利用Python软件对现场采集的数据进行Z-score标准化处理，标准化后数据集中共有56×3612维数据.

4.   实验及结果分析

  • AE-LSTM的初始参数设置如表 3所示，对于自动编码器，主要由编码层和解码层两部分组成，其中解码层会将输入的数据进行压缩并提取特征，再对特征重新构造. 由于自动编码器具有成镜像的对称结构，所以通过实验可得到最优的自动编码器结构，前面对原始数据预处理中得到56维变量，进而可以确定输入层节点为56个. 为了减少权重的相互依赖，使用Sigmoid函数作为激活函数，损失函数使用均方误差，优化函数为Adam函数.

    通过十折交叉检验，得到基于AE-LSTM的NOx平均预测准确率如表 4、图 6和图 7所示，其中图 7为截取的图 6部分片断以便观察. 表 4展示了不同模型的平均预测准确率和RMSE指标，其中，AE-LSTM网络的预测准确率为85.1%，高于CNN-LSTM网络的预测准确率83.8%和LSTM网络的预测准确率79.7%. AE-LSTM网络的RMSE为0.705，低于CNN-LSTM网络的RMSE 0.725和LSTM网络的RMSE 0.833. 可见AE-LSTM在NOx预测方面表现最优.

5.   结语

  • 通过建立有效的NOx浓度预测模型，可以帮助垃圾焚烧厂提前做出规划，减少NOx排放. 本文提出了一种基于自动编码器和长短期记忆神经网络的预测模型，针对垃圾焚烧NOx数据的空间特征，实现对长短期记忆神经网络的改进. 长短期记忆神经网络主要关注数据的内部时序特征，而忽略了数据内部的空间特征联系，引入自动编码器可提升模型对数据内部的空间特征联系和数据多维度特征的提取能力. 本文以重庆市某垃圾焚烧厂锅炉的燃烧数据为研究对象，首先利用LSTM网络进行建模，并进行了网络参数优化，再使用自动编码器对数据深层次多维信息特征进行提取，建立改进的AE-LSTM的NOx浓度预测模型. 研究表明，相比LSTM模型，AE-LSTM模型在时序特征、空间特征强的数据集方面，表现出较好的预测精度和泛化能力. 本文开展NOx浓度预测研究，有望为下一步如何调控工艺变量操作指标，优化工艺参数，达到NOx浓度减排目标奠定重要的理论依据.

Figure (7)  Table (4) Reference (17)

Catalog

    Copyright Journal of Southwest China Normal University(Natural Science Edition)

    Address： Tel：023-68252540，68254576，68254478 E-mail：xbbjb@swu.edu.cn

    Supported by:Beijing Renhe Information Technology Co. Ltd

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return