这是用户在 2025-5-7 21:24 为 https://app.immersivetranslate.com/pdf-pro/e98bc865-b3fc-4a30-91df-d8b6d3cf0b2d/ 保存的双语快照页面,由 沉浸式翻译 提供双语支持。了解如何保存?

基于深度学习双向 LSTM 神经网络的短期负载预测
基于深度学习的双向 LSTM 神经网络短期负荷预测

基于深度学习双向长短期记忆神经网络的短期负荷预测

蔡长春 1 , 2 , 1 , 2 , ^(1,2,**){ }^{1,2, *}, 袁涛 1 , 2 1 , 2 ^(1,2){ }^{1,2}, 朱天琪 1 , 2 1 , 2 ^(1,2){ }^{1,2}和邓志祥 1 , 2 1 , 2 ^(1,2){ }^{1,2}
常春(音译) 1 , 2 , 1 , 2 , ^(1,2,**){ }^{1,2, *} 、袁涛 1 , 2 1 , 2 ^(1,2){ }^{1,2} 、田琪(音译) 1 , 2 1 , 2 ^(1,2){ }^{1,2} 、邓志祥 1 , 2 1 , 2 ^(1,2){ }^{1,2}
1 河海大学江苏省输配电设备技术重点实验室,213022常州;Taoy@hhu.edu.cn (Y.T.);Zhutq@hhu.edu.cn (T.Z.);Dengzx@hhu.edu.cn (Z.D.)
1 江苏省电力传输与配电设备技术重点实验室(河海大学),江苏常州 213022;联系人邮箱:Taoy@hhu.edu.cn (Y.T.);Zhutq@hhu.edu.cn (T.Z.);Dengzx@hhu.edu.cn (Z.D.)

1 河海大学江苏省输配电装备技术重点实验室,江苏常州 213022;陶勇(邮箱:Taoy@hhu.edu.cn);朱天清(邮箱:Zhutq@hhu.edu.cn);邓志新(邮箱:Dengzx@hhu.edu.cn)
2 河海大学物联网工程学院,常州213022
河海大学物联网工程学院,江苏常州 213022

河海大学物联网工程学院,江苏常州 213022
* 对应关系:20031690@hhu.edu.cn
"通讯作者邮箱:20031690@hhu.edu.cn"

"通讯作者邮箱:20031690@hhu.edu.cn"

引自:Cai, C.;陶 Y.;朱 T.;邓, Z. 基于深度学习双向 LSTM 神经网络的短期负载预测.应用科学 2021, 11, 8129。https://doi.org/10.3390/app11178129
文献引用:蔡超、陶勇、朱涛、邓哲。《基于深度学习双向 LSTM 神经网络的短期负荷预测》,应用科学期刊,2021 年第 11 卷,第 8129 页。https://doi.org/10.3390/app11178129
学术编辑:J.  学术编辑:J. Carlos García-Díaz 和 Óscar Trull
学术编辑:J. Carlos García-Díaz 与 Óscar Trull
收稿日期: 2021-06-24  收稿日期:2021 年 6 月 24 日 录用日期: 2021-08-31
收录日期:2021 年 8 月 31 日

出版日期: 2021-09-1
发布日期:2021 年 9 月 1 日

发表于 2021 年 9 月 1 日
出版商注:MDPI 对已发布地图和机构隶属关系中的管辖权主张保持中立。
出版方声明:MDPI 对已出版地图所涉疆域主张及机构隶属关系保持中立立场。
版权所有:© 2021 年归作者所有。被许可人 MDPI,瑞士巴塞尔。本文是根据知识共享署名 (CC BY) 许可 (https:// 的条款和条件分发的开放获取文章creativecommons.org/licenses/by/4.0/).
版权声明:© 2021 作者所有。获许可方为瑞士巴塞尔的 MDPI。本文系开放获取文章,遵循知识共享署名许可协议(CC BY)条款发布(原文链接:https://creativecommons.org/licenses/by/4.0/)。

版权声明:© 2021 作者版权所有。获许可方为瑞士巴塞尔的 MDPI。本文采用开放获取模式,遵循知识共享署名许可协议(CC BY)的条款发布(原文链接:https://creativecommons.org/licenses/by/4.0/)。

抽象

准确的负荷预测保证了电力系统的稳定和经济运行。随着分布式发电和电动汽车的日益集成,单个负载和分布式发电的可变性和随机性特性增加了电力系统中电力负载的复杂性。因此,准确和稳健的负载预测结果在现代电力系统中变得越来越重要。该文提出了一个基于多层堆叠双向长短期记忆 (LSTM) 的短期负荷预测框架;该方法包括神经网络架构、模型训练和引导。该方法将逆向计算与正向计算相结合,设计了反馈计算机制,解决了电力负荷前后时间序列信息的耦合问题。为了提高算法的收敛性,引入深度学习训练来挖掘历史负载之间的相关性,并建立网络的多层堆叠风格来管理电力负载信息。最后,应用实际数据对所提方法进行了测试,并将所提方法的结果与不同方法进行比较,表明所提方法能够从数据中提取动态特征并做出准确的预测,并用真实运行数据验证了所提方法的可用性。
精确的负荷预测是保障电力系统稳定与经济运行的关键。随着分布式发电和电动汽车的广泛接入,单个负荷及分布式电源的波动性与随机性特征显著提升了电力系统负荷的复杂性。因此,在现代电力系统中,高精度、强鲁棒性的负荷预测技术显得尤为重要。本研究提出了一种基于多层堆叠双向长短期记忆网络(LSTM)的短期负荷预测框架,该方案涵盖神经网络架构设计、模型训练及自举优化三个核心模块。创新性地将反向计算与正向计算相融合,并设计反馈计算机制以解决电力负荷时序前后信息的耦合问题。为提升算法收敛性,采用深度学习技术挖掘历史负荷间的关联特性,并通过构建多层堆叠网络架构实现对电力负荷信息的高效管理。基于实际运行数据的测试表明:相较于传统方法,本方案不仅能有效提取数据动态特征,预测精度显著提升,其可行性也通过真实电网数据得到了充分验证。

关键词:双向长短期记忆;多层堆叠;神经网络;短期负荷预测;电力系统
关键词:双向长短期记忆网络;多层堆叠结构;神经网络;短期负荷预测;电力系统

1. 引言

可靠、准确的短期负荷预测系统是客户与电力公司之间能源交易的基础 [1,2]。随着分布式发电和消费能源系统的渗透率不断提高,负载曲线的随机性和可变性给短期负载预测系统带来了更多挑战。近年来,世界各地的研究人员都专注于短期负荷预测,并试图使用可变的新技术获得更准确的预测结果。
"可靠且精准的短期负荷预测系统是用户与电力公司开展能源交易的基础[1,2]。随着分布式电源和用户侧能源系统的普及,负荷曲线的随机波动特性使得短期负荷预测面临更大挑战。近年来,全球学者聚焦短期负荷预测领域,通过运用各类新兴技术手段以提升预测精度。"
传统的负荷预测方法使用统计学 [1,3,4],这在以前的研究中已经出现过。然而,需要大量精确的历史数据,这增加了准确预测的挑战。基于人工神经网络的方法因其强大的非线性逼近和自学习能力而成为数据驱动方法中最受欢迎的方法。不同类型的神经网络,例如反向传播 (BP) [5]、径向基函数 (RBF) [6] 和极限学习机 (ELM) [ 7 , 8 ] [ 7 , 8 ] [7,8][7,8]已被提出并应用于短期负荷预测。此外,在 [8] 中,添加了正则化项和多个 ELM 的组合,以减少传统 ELM 在光伏功率预测中的随机性。然而,低收敛速度始终是神经网络大规模应用的障碍。
传统负荷预测方法采用统计学手段[1,3,4],这在早期研究中已有体现。但该方法需要大量精确的历史数据,这给预测精度带来了挑战。在数据驱动方法中,基于人工神经网络的方案因其出色的非线性拟合和自主学习能力而最为常用。目前已提出反向传播(BP)[5]、径向基函数(RBF)[6]和极限学习机(ELM)等多种神经网络模型,并成功应用于短期负荷预测。文献[8]还通过在光伏功率预测中引入正则化项和组合多个 ELM 模型,有效降低了传统 ELM 的随机性。但收敛速度较慢的问题,始终制约着神经网络的大规模应用。
深度学习框架和人工智能 (AI) 技术的快速发展为电力系统负载预测带来了更多选择。近年来,卷积神经网络(CNN)[9,10]、深度置信网络(DBN)[11-13]和深度
深度学习框架与人工智能(AI)技术的迅猛发展,为电力系统负荷预测提供了更多方法选择。近年来,卷积神经网络(CNN)[9,10]、深度信念网络(DBN)[11-13]以及深度
残差网络(DRN)[14]相继发展并应用于负荷预测领域,在负荷预测领域显示出广阔的前景。这些方法可以提取载荷曲线的关键元素。在 [9] 中,提出了一种多输入深度卷积神经网络 (CNN) 模型,并将其应用于短期光伏功率预测中,其中太阳辐射和环境温度结合光伏系统的历史输出功率作为预测模型的输入数据。在 [10] 中,提出了一种基于深度卷积神经网络的预测方法,用于短期光伏功率预测;在这里,原始仪表数据通过卷积核分解为二维时间尺度,并通过 CNN 模型提炼为高级特征。深度置信网络应用于光伏功率预测 [11];所提出的方法侧重于真实数据捕获,以建立深度置信网络的最佳架构。在 [12] 中,考虑到需求方响应,将改进的深度信念网络应用于负载预测;对 DBN 的三个方面进行了优化,以处理预测准确性。在 [13] 中,将深度置信网络方法纳入前馈神经网络,其中逐层无监督训练过程与基于监督反向传播训练方法的参数微调相结合。在 [14] 中,制定了深度残差网络的两阶段集成策略,以增强负载预测的泛化能力。
残差网络(DRN)[14]已在负荷预测领域得到开发与应用,展现出良好的应用前景。这类方法能有效提取负荷曲线的关键特征。文献[9]提出了一种多输入深度卷积神经网络(CNN)模型,用于短期光伏功率预测,该模型以太阳辐射、环境温度及光伏系统历史输出功率作为输入数据。文献[10]则提出了一种基于深度卷积神经网络的短期光伏功率预测方法,通过卷积核将原始电表数据转换为二维时间序列,并利用 CNN 模型提取高级特征。在文献[11]中,深度信念网络被用于光伏功率预测,其核心在于通过实时数据采集构建最优网络结构。文献[12]采用改进的深度信念网络进行考虑需求响应的负荷预测,通过优化网络三个关键方面提升了预测精度。文献[13]将深度信念网络与前馈神经网络相结合,采用逐层无监督训练与基于反向传播的监督微调相结合的训练策略。 文献[14]提出了一种深度残差网络的两阶段集成策略,有效提升了负荷预测的泛化性能。
由于 LSTM 具有解决梯度消失问题的优势,因此在处理与时间序列高度相关的工业问题方面,LSTM 比递归神经网络更有效 [15-17]。LSTM 神经网络已成功部署在许多实际应用中;由于相关的记忆单元,它可以学习更长期的依赖关系 [18-20]。在 [18] 的分布式网络中使用了基于 LSTM 架构的方法,其中基于 LSTM 的结构用于每个节点的线性回归,并接收与其邻居的可变长度数据序列以训练 LSTM 架构。[19] 提出了一种基于对抗学习和 LSTM 的视频字幕方法;它用于处理视频数据指数误差累积的时间性质。在 [20] 中,使用具有语义一致性的基于注意力的 LSTM 模型将视频转换为自然句子。在 [21] 中,LSTM 神经网络用于多模态动态睡眠检测,所提出的方法可以合成时间信息的准确性。在 [22] 中,对非均匀采样的可变长度序列数据进行分类,然后通过 LSTM 进行回归。
由于 LSTM 能够有效解决梯度消失问题,在处理与时间序列高度相关的工业问题时,其性能优于循环神经网络[15-17]。LSTM 神经网络已在众多实际应用中成功应用,其特有的记忆单元使其能够学习更长期的依赖关系[18-20]。文献[18]提出了一种基于 LSTM 架构的分布式网络方法,该架构通过各节点的线性回归处理变长数据序列,并结合邻域信息进行 LSTM 模型训练。文献[19]开发了一种融合对抗学习与 LSTM 的视频字幕生成方法,有效解决了视频数据时序特性导致的误差累积问题。文献[20]采用具有语义一致性的注意力机制 LSTM 模型,实现了视频到自然语句的转换。在动态睡眠监测领域[21],LSTM 神经网络通过整合多模态时序信息提升了检测精度。文献[22]则利用 LSTM 完成了非均匀采样变长序列数据的分类与回归分析。
LSTM 神经网络在预测领域也显示出巨大的潜力。[23,24] 中的作者提出了一个基于 LSTM 的单一能源客户负荷预测框架。在 [25] 中,提出了一种基于 LSTM 和门控循环单元 (GRU) 的多层双向 RNN,用于短期负载预测;所提出的方法可以匹配不同类型的载荷数据,并且被证明更准确。在 [26] 中,提出了一个基于 LSTM-DNN 的预测模型,用于光伏功率输出、可用温度数据以及使用稳态小波变换从历史光伏输出数据中提取的统计特征。提出了一种 LSTM 神经网络,用于提前 1 小时和提前 1 天预测太阳辐照度 [27,28];晴朗指数用于通过 K-Means 对天气类型进行分类。[29] 提出了一种用于风电现场预测的 k-means LSTM 网络模型;对风功率因子进行聚类以生成新的 LSTM 子预测模型。
LSTM 神经网络在预测领域展现出显著的应用潜力。文献[23,24]的研究者开发了基于 LSTM 的单一能源用户负荷预测框架。文献[25]则提出采用 LSTM 和门控循环单元(GRU)构建的多层双向循环神经网络,该模型能适配各类负荷数据,短期负荷预测精度更高。文献[26]提出的 LSTM-DNN 混合模型,通过平稳小波变换提取历史光伏输出数据的统计特征,结合温度数据实现光伏功率预测。针对太阳辐照度预测,文献[27,28]构建的 LSTM 网络可进行 1 小时和 24 小时超前预测,并创新性地采用 k 均值算法结合清晰度指数实现天气类型分类。文献[29]研发的 k 均值-LSTM 组合模型,通过对风电特征参数聚类建立多个 LSTM 子模型,显著提升了风电功率点预测精度。
在 [30] 中,作者提出了五种基于 LSTM 的光伏功率预测方法,通过将 LSTM 层相互堆叠来提高预测能力。在 [31] 中,提出了一种用于负载分解的一维卷积堆叠 LSTM;深度学习框架是通过在隐藏层中堆叠多个 LSTM 层来创建的。隐藏层是 LSTM 单元中的连接重新连接。堆叠 LSTM 神经网络的预测模型中不存在梯度消失或梯度爆炸问题。但是,远距离数据传输会导致数据丢失,从而导致过程预测中累积误差。为了解决这个问题,引入逆向计算结合正向计算来解决数据训练
文献[30]的作者提出了五种基于 LSTM 的光伏发电预测方法,通过逐层堆叠 LSTM 网络结构有效提升了预测性能。文献[31]则创新性地采用一维卷积堆叠 LSTM 网络进行负荷分解,其深度学习框架通过在隐藏层中堆叠多个 LSTM 层构建而成,这些隐藏层通过 LSTM 单元内的重连接机制实现信息传递。该堆叠 LSTM 神经网络预测模型既不会出现梯度消失现象,也不存在梯度爆炸问题。但需要注意的是,远距离数据传输可能导致信息丢失,进而造成过程预测中的误差累积。为此,研究人员引入正向计算与反向计算相结合的策略,有效解决了训练过程中记忆单元单向传递的局限性问题。
过程中内存过程的单向性问题。引入反馈机制以改善前后关联。结合逆向计算,LSTM 神经网络具有双向计算的能力,可以克服长距离传输中数据丢失的缺陷。此外,前向和后向传播预测使数据更加依赖和可靠。为数据训练过程构建多层堆叠深度学习风格,以依次改善数据集之间的信息通信。
数据部分。通过引入反馈机制增强前后关联性,结合反向计算使 LSTM 神经网络具备双向运算能力,有效解决了长距离传输中的数据丢失问题。前向传播与反向传播预测的双重机制进一步提升了数据的关联性和可靠性。采用多层堆叠的深度学习架构进行数据训练,实现了数据集间信息传递的渐进式优化。
本文的主要贡献如下:(1)本文提出了一种双向LSTM短期载荷预测框架模型,其中逆向计算与正向计算相结合,检索隐藏在载荷廓线中的重要信息,提高了时间序列问题的预测能力。(2) 提出了一种基于深度学习技术的多层堆叠双向 LSTM 预测结构。多层结构的优点可用于分析载荷分布并提取数据基本特征。(3) 最后,结合实际运行案例对多层堆叠双向 LSTM 预测模型进行验证,并将评估结果与其他方法进行比较。
本文的核心创新点包括:(1) 提出双向 LSTM 短期负荷预测框架模型,通过正向与反向计算相结合,挖掘负荷曲线中的隐含特征,显著提升时序预测性能;(2) 基于深度学习构建多层堆叠双向 LSTM 预测架构,利用深度网络优势实现负荷特征深度解析与关键特征提取;(3) 通过实际运行数据验证,该多层双向 LSTM 模型的预测效果优于对比方法,实验评估结果具有显著优势。

2. LSTM 神经网络

2.1. LSTM 神经网络

LSTM 神经网络于 1997 年提出,是一种时域深度学习神经网络。与传统的循环神经网络相比,LSTM 神经网络的隐藏层中有两个特殊的部分:遗忘门和记忆单元。从输入到输出的长期信息流可以提高神经网络在训练过程中的内存容量。LSTM 单元的结构如图 1 所示。它由四个计算单元组成:分别是输出门、忘记门、内存单元和输入门。
LSTM 神经网络于 1997 年提出,是一种时域深度学习神经网络。相较于传统循环神经网络,其隐藏层具备两大特殊结构:遗忘门和记忆单元。这种从输入到输出的长效信息传递机制,能有效提升神经网络在训练过程中的记忆能力。如图 1 所示,LSTM 单元由四个核心组件构成:输出门、遗忘门、记忆单元及输入门。

图 1.LSTM 细胞结构。基于输出 h t 1 h t 1 h_(t-1)h_{t-1}最后一个隐藏层和当前输入 x t x t x_(t)x_{t},则新值 f t f t f_(t)f_{t}基于激活函数 “Sigmoid” 生成,该函数决定是否让信息 C t 1 C t 1 C_(t-1)C_{t-1}学到在最后一刻通过;即,最后一个 cell 状态的多少 C t 1 C t 1 C_(t-1)C_{t-1}保存为当前时间 C t C t C_(t)C_{t}.之间的函数 h t 1 , x t h t 1 , x t h_(t-1),x_(t)h_{t-1}, x_{t} f t f t f_(t)f_{t}可以写成:
f t = σ ( W f [ h t 1 , x t ] + b f ) f t = σ W f h t 1 , x t + b f f_(t)=sigma(W_(f)*[h_(t-1),x_(t)]+b_(f))f_{t}=\sigma\left(W_{f} \cdot\left[h_{t-1}, x_{t}\right]+b_{f}\right)
哪里 σ σ sigma\sigma是 “Sigmoid” 函数,并且 “Sigmoid” 函数的输出值的范围是 [ 0 , 1 ] . W f [ 0 , 1 ] . W f [0,1].W_(f)[0,1] . W_{f}是 Forget 门的权重矩阵, b f b f b_(f)b_{f}是 Forget Gate 的偏差, f t f t f_(t)f_{t}是决定长期记忆信息的遗忘因子的遗忘门的值。的值 f t f t f_(t)f_{t}介于 [0,1] 之间。
LSTM 的阈值由 sigmoid 激活函数和点乘法运算组成。前一刻的隐藏层进入忘门后,该函数会给裁判关于它是否更新的信息。但是,单元状态持续滚动并沿水平方向运行。
I t = σ ( W t [ h t 1 , x t ] + b i ) C ~ t = tanh ( W c [ h t 1 , x t ] + b c ) C t = f t C t 1 + I t C ~ t I t = σ W t h t 1 , x t + b i C ~ t = tanh W c h t 1 , x t + b c C t = f t C t 1 + I t C ~ t {:[I_(t)=sigma(W_(t)*[h_(t-1),x_(t)]+b_(i))],[ widetilde(C)_(t)=tanh(W_(c)*[h_(t-1),x_(t)]+b_(c))],[C_(t)=f_(t)**C_(t-1)+I_(t)** widetilde(C)_(t)]:}\begin{gathered} I_{t}=\sigma\left(W_{t} \cdot\left[h_{t-1}, x_{t}\right]+b_{i}\right) \\ \widetilde{C}_{t}=\tanh \left(W_{\mathrm{c}} \cdot\left[h_{t-1}, x_{t}\right]+b_{c}\right) \\ C_{t}=f_{t} * C_{t-1}+I_{t} * \widetilde{C}_{t} \end{gathered}
其中 tanh 是双曲正切激活函数, C ~ t C ~ t widetilde(C)_(t)\widetilde{C}_{t}是 的临时设备状态 C t , W c C t , W c C_(t),W_(c)C_{t}, W_{\mathrm{c}}是内存单元的权重矩阵, b c b c b_(c)b_{c}是内存单元的偏差,而 I t I t I_(t)I_{t}是输入门的输出值。当前单元格状态 C t C t C_(t)C_{t}是原始状态和更新状态的总和。
o t = σ ( W o [ h t 1 , x t ] + b o ) h t = o t tanh ( C t ) o t = σ W o h t 1 , x t + b o h t = o t tanh C t {:[o_(t)=sigma(W_(o)*[h_(t-1),x_(t)]+b_(o))],[h_(t)=o_(t)**tanh(C_(t))]:}\begin{gathered} o_{t}=\sigma\left(W_{o} \cdot\left[h_{t-1}, x_{t}\right]+b_{o}\right) \\ h_{t}=o_{t} * \tanh \left(C_{\mathrm{t}}\right) \end{gathered}
哪里 W o W o W_(o)W_{o}是输出门的权重矩阵, o t o t o_(t)o_{t}是输出门的输出值,并且 b o b o b_(o)b_{o}是 output gate 的偏置。初始输出 h t h t h_(t)h_{t}是通过 S 形层获得的, tanh ( C t ) tanh C t tanh(C_(t))\tanh \left(C_{t}\right)介于 -1 和 1 之间。
其中, W o W o W_(o)W_{o} 代表输出门的权重矩阵, o t o t o_(t)o_{t} 为输出门的输出值, b o b o b_(o)b_{o} 表示输出门的偏置项。初始输出值 h t h t h_(t)h_{t} 经由 sigmoid 激活函数层计算得出,其数值范围 tanh ( C t ) tanh C t tanh(C_(t))\tanh \left(C_{t}\right) 位于-1 至 1 之间。
信号依次通过输入门、输出门和忘记门,实现当前时间段的信息存储和维护。神经网络的 LSTM 结构表明,输入变量直接从输入水平传输到输出。因此,预测误差将不断累积,并突然膨胀,与预测模型中的前一个时间成正比。图 2 显示了一天电力负荷预测中的 LSTM 预测累积误差。短期负载预测方法通常需要一天或一周作为训练数据集。在图 2 中,以 3 天的数据作为样本预测。随着预测数据步长的增加,LSTM 预测结果中出现误差累积,并且随着时间的推移,误差会越来越大。
信号依次经过输入门、输出门和遗忘门,从而在当前时间周期内完成信息的存储与维护。神经网络 LSTM 结构显示,输入变量直接从输入端水平传递至输出端。因此,在预测模型中,预测误差会持续累积,并随前序时间呈正比关系骤增。图 2 展示了电力负荷一日预测中 LSTM 的误差累积情况。短期负荷预测通常以单日或单周数据作为训练集,图 2 选取了三日数据进行样本预测。随着预测步长的增加,LSTM 预测结果会出现误差累积现象,且时间越长误差幅度越大。

图 2.预测模型的累积误差。

2.2. 双向 LSTM 神经网络

为了克服累积误差问题,这里提出了一种双向 LSTM,如图 3 所示。双向 LSTM 神经网络由两层 LSTM 结构组成;一个用于计算从前到后的隐藏向量,另一个用于计算从后到前的隐藏向量。双向 LSTM 神经网络的输出由这两层决定。
为解决累积误差问题,本文提出了一种双向 LSTM 结构(如图 3 所示)。该双向 LSTM 神经网络包含两层结构:前向层负责从前往后计算隐藏向量,后向层则从后往前计算。网络最终输出由这两个方向的隐藏向量共同决定。

图 3.双向 LSTM 的基本结构。双向 LSTM 神经网络不同于传统的前馈机制神经网络。在双向 LSTM 中,每一层的内部节点不会相互连接。在隐藏层的连接中引入了一个方向循环,前面是信息;结果被记忆并存储在 Memory Unit 中,可以提高不同时间序列中单条信息的关联性。神经网络的当前输出是通过组合先前的输出和当前输入来确定的。但是,随着时间序列中输入数据量的增加,由于延迟窗口宽度的缺失,会出现梯度消失和梯度爆炸问题。
Based on the traditional LSTM model, the bidirectional LSTM neural network will fully consider the front and back correlation of the load data in time series and improve the model performance for the sequence classification problem especially. During the training process, the input data sequence of the forward layer is the training data, and the backward layer is the reverse copy of the input data sequence. The results of bidirectional structure prediction are determined by the previous input and the latter input, which increases the dependence between the training data to avoid the forgetting of the order information.
在传统 LSTM 模型的基础上,双向 LSTM 神经网络能够充分学习负载数据在时间序列中的前后关联特性,尤其提升了模型处理序列分类问题的性能。训练时,前向层接收原始数据序列作为输入,而后向层则处理该序列的反向副本。这种双向结构的预测结果综合了历史与未来输入信息,通过增强数据间的时序依赖关系,有效避免了顺序特征的丢失。
Figure 3 shows that the forward layer calculates the forward direction from 1 to t t tt, and it saves the output of the forward hidden layer at each moment. The backward layer calculates the reverse time series and saves the output of the backward hidden layer at each moment. Finally, the output of the bidirectional LSTM neural network is calculated by combining the corresponding output results of the forward layer and backward layer at each time point. The bidirectional LSTM neural network can be written as:
如图 3 所示,前向层按时间顺序(从 1 到 t t tt )进行计算,并逐时刻保存前向隐藏层的输出值;而后向层则逆向处理时间序列,同样保存各时刻的后向隐藏层输出。最终,通过将每个时间步的前向层与后向层对应输出结果进行整合,即可得到双向 LSTM 神经网络的输出。该网络结构可表述为:
s t = f ( U x t + W s t 1 ) s t = f U x t + W s t 1 s_(t)=f(Ux_(t)+Ws_(t-1))s_{t}=f\left(U x_{t}+W s_{t-1}\right)
s t = f ( U x t + W s t + 1 ) o t = g ( V s t + V s t ) s t = f U x t + W s t + 1 o t = g V s t + V s t {:[s_(t)^(')=f(U^(')x_(t)+W^(')s_(t+1)^('))],[o_(t)=g(Vs_(t)+V^(')s_(t))]:}\begin{gathered} s_{t}^{\prime}=f\left(U^{\prime} x_{t}+W^{\prime} s_{t+1}^{\prime}\right) \\ \mathrm{o}_{t}=g\left(V s_{t}+V^{\prime} s_{t}\right) \end{gathered}
哪里 s t s t s_(t)s_{t}是 Hidden Layer 在 Time 时的状态变量 t , o t t , o t t,o_(t)t, \mathrm{o}_{t}是 output layer 在 t , s t t , s t t,s_(t)^(')t, s_{t}^{\prime}是 Reverse Hidden Layer 在 Time 的状态变量 t , x t t , x t t,x_(t)t, x_{t}是输入向量, g g gg f f ff是激活函数, V , W V , W V,WV, W U U UU是从隐藏层到输出层、隐藏层和输入层到隐藏层的权重矩阵,以及 V , W V , W V^('),W^(')V^{\prime}, W^{\prime} U U U^(')U^{\prime}是相应的反向权重矩阵。前向层和后向层的状态权重矩阵不是两者之间的共享信息。前向层和后向层依次计算,并给出每次的结果。最终输出 o t o t o_(t)\mathrm{o}_{t}取决于 forward 计算结果的和 s t s t s_(t)s_{t}和反向计算结果 s t s t s_(t)^(')s_{t}^{\prime}.

3. 用于短期负载预测的多层堆叠双向 LSTM 神经网络

电力负载曲线受住宅用电行为、温度、湿度等的影响。这是一个多维非线性问题。双向 LSTM 神经网络解决了训练过程中的累积误差问题。此外,多层双向 LSTM 神经网络是基于深度学习机制的双向神经网络的融合。多层正向结构和反向结构构成了多层堆叠双向 LSTM。多层堆叠双向 LSTM 神经网络扩展了双向 LSTM 神经网络的深度。可以重复学习输入数据,深入了解数据特征,提高负载预测的准确性。

3.1. 多层堆叠双向 LSTM 神经网络

多层堆叠双向 LSTM 的系统结构如图 4 所示。在多层堆叠结构中,LSTM 神经网络的每两层由正向和反向 LSTM 网络组成。第二层接收第一层正向和反向 LSTM 的输出结果之和。
图 4 指定了多层双向 LSTM 神经网络系统结构;多层堆叠双向 LSTM 神经网络的输出由每层的正向和反向结果决定,其模型可以表示如下。
o t = g ( V ( j ) s t ( i ) + V ( i ) s t ( i ) ) o t = g ( V ( j ) s t ( i ) + V ( i ) s t ( i ) ) s t ( i ) = f ( U ( i ) s t ( 1 ) + W ( i ) s t + 1 ) s t ( 1 ) = f ( U ( 1 ) x t + W ( 1 ) s t 1 ) s t ( 1 ) = f ( U ( 1 ) x t + W ( 1 ) s t 1 ) o t = g V ( j ) s t ( i ) + V ( i ) s t ( i ) o t = g V ( j ) s t ( i ) + V ( i ) s t ( i ) s t ( i ) = f U ( i ) s t ( 1 ) + W ( i ) s t + 1 s t ( 1 ) = f U ( 1 ) x t + W ( 1 ) s t 1 s t ( 1 ) = f U ( 1 ) x t + W ( 1 ) s t 1 {:[o_(t)=g(V^((j))s_(t)^((i))+V^((i))s_(t)^((i)))],[o_(t)=g(V^((j))s_(t)^((i))+V^((i))s_(t)^((i)))],[s_(t)^((i))=f(U^(**(i))s_(t)^('(-1))+W^((i))s_(t+1)^('))],[s_(t)^((1))=f(U^((1))x_(t)+W^((1))s_(t-1))],[s_(t)^('(1))=f(U^('(1))x_(t)+W^('(1))s_(t-1)^('))]:}\begin{gathered} \mathrm{o}_{t}=g\left(V^{(j)} s_{t}^{(i)}+V^{(i)} s_{t}^{(i)}\right) \\ \mathrm{o}_{t}=g\left(V^{(j)} s_{t}^{(i)}+V^{(i)} s_{t}^{(i)}\right) \\ s_{t}^{(i)}=f\left(U^{*(i)} s_{t}^{\prime(-1)}+W^{(i)} s_{t+1}^{\prime}\right) \\ s_{t}^{(1)}=f\left(U^{(1)} x_{t}+W^{(1)} s_{t-1}\right) \\ s_{t}^{\prime(1)}=f\left(U^{\prime(1)} x_{t}+W^{\prime(1)} s_{t-1}^{\prime}\right) \end{gathered}
哪里 s t i s t i s_(t)^(i)s_{t}^{i} s t 1 i s t 1 i s_(t-1)^(i)s_{t-1}^{i} i t h i t h i^(th)i^{t h}隐藏层位于 t 1 t 1 t-1t-1 t t tt时间。正向和反向计算不共享权重信息。 V ( i ) , U ( i ) V ( i ) , U ( i ) V^((i)),U^((i))V^{(i)}, U^{(i)} W ( i ) W ( i ) W^((i))W^{(i)}是输入层、隐藏层和输出层之间的权重矩阵。在反向计算中, V ( i ) , U ( i ) V ( i ) , U ( i ) V^(')(i),U^(')(i)V^{\prime}(i), U^{\prime}(i) W ( i ) W ( i ) W^(')(i)W^{\prime}(i)分别是相应的逆权重矩阵。 i i ii是双向 LSTM 层数,而 i = 0 , 1 , 2 i = 0 , 1 , 2 i=0,1,2cdots ooi=0,1,2 \cdots \infty表示 output layer 的值。
图 4.多层堆叠双向 LSTM 神经网络。

3.2. 基于多层堆叠双向 LSTM 的负载预测

所提出的改进 LSTM 神经网络的基本概念包括通过重建训练样本数据来获得电力负载的统计分析。多层堆叠双向 LSTM 网络经过训练,可以执行未来 24 h 的电力负荷预测。所提模型的预测过程可以分为以下步骤,如图 5 所示。
Figure 5. The framework of the proposed method for load forecasting.
图 5. 本文提出的负荷预测方法框架。

Step 1: Data preparation. Historical data of the power load profiles are collected and pre-processed to remove any outlier or incorrect data before the training process. However, the original data are not standard enough to use directly. Normalization is a common method to normalize original data structures in system modeling, and the original data become dimensionless after normalization, which can increase the convergence speed of the neural network. After normalization, the value of the original data is between the range of
[ 0 , 1 ] [ 0 , 1 ] [0,1][0,1]. There are many normalization methods such as min-max scaling, Z-score standardization method, and decimal scaling. In this paper, a linear normalization method based on min-max scaling is used, which can be written as follows:
第一步:数据准备。在模型训练前,需先收集电力负荷历史数据并进行预处理,剔除异常或错误数据。但原始数据通常不符合标准,无法直接使用。归一化是系统建模中常用的数据标准化方法,通过消除量纲影响,能显著提升神经网络收敛速度。归一化处理后,数据值将落在 [ 0 , 1 ] [ 0 , 1 ] [0,1][0,1] 区间内。常用归一化方法包括最小-最大缩放法、Z-score 标准化法和十进制缩放法等。本研究采用基于最小-最大缩放原理的线性归一化方法,其计算公式如下:
x = x x min x max x min . x = x x min x max x min . x^(**)=(x-x_(min))/(x_(max)-x_(min)).x^{*}=\frac{x-x_{\min }}{x_{\max }-x_{\min }} .
x max x max x_(max)x_{\max } and x min x min x_(min)x_{\min } are the maximum and minimum values of the sample data of power load, x x xx is the original value of the sample data, and x x x^(**)x^{*} is the normalized value of the original data.
" x max x max x_(max)x_{\max } x min x min x_(min)x_{\min } 分别表示电力负荷样本数据的最大值与最小值, x x xx 为样本原始数据值, x x x^(**)x^{*} 则是经过归一化处理后的数值。"
Step 2: Network training. The forward value of input at t = 1 t = 1 t=1t=1 and the reverse state value of input at t = T t = T t=T\mathrm{t}=\mathrm{T} ( T is the last sampling time of the training dataset) are unknown, which are generally set to a fixed value (0.5) in the training process. Additionally, the derivative of the forward value of input at T = t T = t T=t\mathrm{T}=\mathrm{t} and the original value of the reverse state of t = 1 t = 1 t=1t=1 are generally set to zero. It is assumed that the later information is not very important for the current information updated. The process of network training contains the following:
步骤 2:网络训练。输入数据在 t = 1 t = 1 t=1t=1 位置的前向值及 t = T t = T t=T\mathrm{t}=\mathrm{T} 位置的反向状态值(T 代表训练数据集的末次采样时间)通常未知,训练时默认设为固定值(0.5)。同时, T = t T = t T=t\mathrm{T}=\mathrm{t} 位置前向导数和 t = 1 t = 1 t=1t=1 位置原始反向状态值一般置零处理,这基于后续信息对当前参数更新影响较小的假设。网络训练具体包含以下环节:

(1) Forward transfer. With the time sequence of
1 < t <= T 1 < t <= T 1 < t<=T1<t<=T, training data are input from the cell of the bidirectional LSTM, and the predicted outputs are determined. Forward
(1) 前向传递。按照 1 < t <= T 1 < t <= T 1 < t<=T1<t<=T 的时间顺序,将训练数据输入双向 LSTM 单元进行处理,并生成预测输出结果。前向

passes are only for forward states (from
t = 1 t = 1 t=1t=1 to t = T t = T t=Tt=T ) and backward states (from t = T t = T t=Tt=T to t = 1 t = 1 t=1t=1 ). The output cells were transferred forward, and the n n nn-th layer forward predicted output is calculated.
"该机制仅作用于前向状态(从 t = 1 t = 1 t=1t=1 t = T t = T t=Tt=T )和后向状态(从 t = T t = T t=Tt=T t = 1 t = 1 t=1t=1 )。输出单元会向前传递,同时计算第 n n nn 层的前向预测输出。"

(2) Backward transfer: The derivative of the partial objective function is calculated for the forward transfer time period with
1 < t <= T 1 < t <= T 1 < t<=T1<\mathrm{t}<=\mathrm{T}. The backward LSTM cells are calculated based on the forward value of 1 < t <= T 1 < t <= T 1 < t<=T1<\mathrm{t}<=\mathrm{T} and the reverse value of 1 < t <= T 1 < t <= T 1 < t<=T1<\mathrm{t}<=\mathrm{T}. The reversed prediction output is calculated.
(2) 反向传递:部分目标函数的导数在正向传递阶段通过 1 < t <= T 1 < t <= T 1 < t<=T1<\mathrm{t}<=\mathrm{T} 计算得出。反向 LSTM 单元则根据 1 < t <= T 1 < t <= T 1 < t<=T1<\mathrm{t}<=\mathrm{T} 的正向输出值和 1 < t <= T 1 < t <= T 1 < t<=T1<\mathrm{t}<=\mathrm{T} 的反向输出值进行计算,最终生成反向预测结果。

(3) Weight matrix updating. Based on the loss function of the neural network during the training process, the weight matrix is calculated and updated.
(3) 权重矩阵更新。根据神经网络训练过程中的损失函数,对权重矩阵进行计算和更新。

(4) Result output. Based on the bidirectional calculation, the parameters of the prediction model of LSTM neural network are estimated.
(4) 结果输出。通过双向计算,对 LSTM 神经网络预测模型的参数进行了估算。

3.3. Evaluation Index  3.3. 评价指标

In this paper, the mean absolute error (MAE), root mean square error (RMSE), and mean absolute percentage error (MAPE) are used to evaluate the error of prediction results. MAPE, RMSE, and MAE are common indicators to evaluate the accuracy of the proposed model based on the measurement value and estimated value. The definition of the indicators is shown in Equations (16)-(18). MAE is the estimated indictor, which is used as the measurement value. RMSE is used to evaluate the deviation between the observed value and the true value; it is sensitive to outliers. MAPE is used to evaluate the relative errors between the average observed value and the true value on the test. MAE can reflect the error distribution during the time series, while MAPE normalizes the error at different points and reduces the effect of the absolute errors of the outliers.
本研究采用平均绝对误差(MAE)、均方根误差(RMSE)和平均绝对百分比误差(MAPE)三项指标评估预测结果的误差。其中,MAPE、RMSE 和 MAE 是基于实测值与预测值衡量模型精度的常用指标,具体定义见公式(16)-(18)。MAE 作为估计指标反映测量值水平;RMSE 衡量观测值与真实值的偏离程度,对异常值较为敏感;MAPE 则用于测试集中评估观测均值与真实值的相对误差。MAE 能体现时间序列上的误差分布特征,而 MAPE 通过误差归一化处理,削弱了异常点绝对误差对整体评估的影响。
M A P E = 1 n i = 1 n | x i x ^ i | x i × 100 % R M S E = 1 n i = 1 n | x i x ^ i | 2 M A E = 1 n i = 1 n | x i x ^ i | M A P E = 1 n i = 1 n x i x ^ i x i × 100 % R M S E = 1 n i = 1 n x i x ^ i 2 M A E = 1 n i = 1 n x i x ^ i {:[MAPE=(1)/(n)sum_(i=1)^(n)(|x_(i)- hat(x)_(i)|)/(x_(i))xx100%],[RMSE=sqrt((1)/(n)sum_(i=1)^(n)|x_(i)- hat(x)_(i)|^(2))],[MAE=(1)/(n)sum_(i=1)^(n)|x_(i)- hat(x)_(i)|]:}\begin{gathered} M A P E=\frac{1}{n} \sum_{i=1}^{n} \frac{\left|x_{i}-\hat{x}_{i}\right|}{x_{i}} \times 100 \% \\ R M S E=\sqrt{\frac{1}{n} \sum_{i=1}^{n}\left|x_{i}-\hat{x}_{i}\right|^{2}} \\ M A E=\frac{1}{n} \sum_{i=1}^{n}\left|x_{i}-\hat{x}_{i}\right| \end{gathered}
n n nn is the number of sample data, x i x i x_(i)x_{i} is the real value, and x ^ i x ^ i hat(x)_(i)\hat{x}_{i} is the predicted value.
"其中, n n nn 表示样本数据的数量, x i x i x_(i)x_{i} 为真实值, x ^ i x ^ i hat(x)_(i)\hat{x}_{i} 为预测值。"

4. Simulation and Experimental Analysis
4. 仿真与实验分析

In this section, we evaluate the performance of the proposed multi-layer stacked bidirectional LSTM neural network for short-term load forecasting, and the key parameters of the model are discussed as well. Moreover, the comparison between the proposed method and previous work are also assessed. All models were executed in a computer with a CPU clock speed of 3.0 GHz and 8 GB of RAM. The hidden layer of the proposed model is 100 , the hidden node is 8 , the initial value of training learning rate is 0.01 , and the number of model training iterations is 100 .
本节对提出的多层堆叠双向 LSTM 神经网络在短期负荷预测中的性能进行评估,并探讨模型关键参数设置。同时,将所提方法与已有研究进行对比分析。实验环境为 3.0 GHz CPU、8 GB 内存的计算机。模型参数设置为:隐藏层数 100 层,隐藏节点 8 个,初始学习率 0.01,训练迭代次数 100 次。

4.1. Dataset for Load Forecasting
4.1. 负荷预测数据集

The databases used in the paper were obtained from the station in the southwest of China with an AC power voltage of 35 kV . The dataset contains a 3-year power load profile with the sampling time of 15 min . The dataset is a mixed dataset that contains different types of loads such as resident load, commercial load, and industrial load. The dataset was pre-processed in order to separate the relevant data and select the predictive features in the models. Here, we separated the dataset into different types for the load forecasting based on days and season characteristics. The pre-processing of the dataset is shown in Section 3.2, and the forecasting models were trained and tested using a 1-year sample dataset where the first 80 % 80 % 80%80 \% is used for model training and the remaining 20 % 20 % 20%20 \% is used to test the performance of the proposed model.
本研究所用数据库采集自中国西南地区某 35 千伏交流变电站,包含为期 3 年、采样间隔 15 分钟的电力负荷数据。该混合数据集涵盖居民用电、商业用电及工业用电等多元负荷类型。研究中对原始数据进行了预处理,包括数据分类和预测特征筛选,具体根据日期和季节特性将负荷数据重新归类以适配预测需求。数据预处理方法详见第 3.2 节,模型训练与测试采用 1 年期的样本数据,其中前 80 % 80 % 80%80 \% 时段数据用于模型训练,剩余 20 % 20 % 20%20 \% 时段数据则用于验证模型性能。

4.2. Neural Network Structure Determine
4.2. 神经网络结构的确定

Prediction accuracy has a significant relationship with the depth of the bidirectional LSTM neural network. The dynamic characteristics of the load data will be extracted based on the interaction of the different layers of the neural network. The internal relevance information of the load profiles will be deep learned with the different stacked layers, and the nonlinearity of the load sequence can be described in different dimensions. The parameters of the input units, forget units, and output units of the proposed model are shown in Table 1.
预测精度与双向 LSTM 神经网络的深度密切相关。通过神经网络各层间的交互作用,可有效提取负载数据的动态特征。利用不同堆叠层结构,能够深入挖掘负载曲线的内在关联信息,并从多维角度描述负载序列的非线性特性。表 1 展示了该模型输入单元、遗忘单元及输出单元的具体参数。
Table 1. The parameters of the equivalent model.
表 1. 等效模型参数列表。
Input Gate  输入门 0.023 0.020 0.120 0.127 0.033 0.975 0.044 0.037 0.579 0.035
0.044 0.049 0.017 0.012 0.034 0.025 0.041 0.001 0.043 0.037
0.027 0.025 0.135 0.128 0.070 0.975 0.049 0.043 0.540 0.007
0.025 0.047 0.042 0.029 0.034 0.025 0.048 0.043 0.005 0.040
Forget Gate  遗忘门 0.024 0.006 0.030 0.008 0.032 0.015 0.050 0.016 0.024 0.005
0.012 0.015 0.013 0.046 0.013 0.045 0.041 0.048 0.050 0.019
0.049 0.044 0.046 0.005 0.000 0.023 0.015 0.046 0.019 0.037
0.007 0.014 0.030 0.007 0.043 0.016 0.044 0.025 0.047 0.037
Output Gate  输出控制门 0.030 0.002 0.043 0.038 0.005 -0.033 0.049 0.001 0.012 0.014
0.006 0.024 0.012 0.001 0.046 0.043 0.049 0.036 0.039 0.014
0.008 0.048 0.029 0.037 0.038 -0.044 0.023 0.012 0.002 0.035
0.021 0.045 0.002 0.017 0.006 0.048 0.019 0.020 0.023 0.012
Input Gate 0.023 0.020 0.120 0.127 0.033 0.975 0.044 0.037 0.579 0.035 0.044 0.049 0.017 0.012 0.034 0.025 0.041 0.001 0.043 0.037 0.027 0.025 0.135 0.128 0.070 0.975 0.049 0.043 0.540 0.007 0.025 0.047 0.042 0.029 0.034 0.025 0.048 0.043 0.005 0.040 Forget Gate 0.024 0.006 0.030 0.008 0.032 0.015 0.050 0.016 0.024 0.005 0.012 0.015 0.013 0.046 0.013 0.045 0.041 0.048 0.050 0.019 0.049 0.044 0.046 0.005 0.000 0.023 0.015 0.046 0.019 0.037 0.007 0.014 0.030 0.007 0.043 0.016 0.044 0.025 0.047 0.037 Output Gate 0.030 0.002 0.043 0.038 0.005 -0.033 0.049 0.001 0.012 0.014 0.006 0.024 0.012 0.001 0.046 0.043 0.049 0.036 0.039 0.014 0.008 0.048 0.029 0.037 0.038 -0.044 0.023 0.012 0.002 0.035 0.021 0.045 0.002 0.017 0.006 0.048 0.019 0.020 0.023 0.012| Input Gate | 0.023 | 0.020 | 0.120 | 0.127 | 0.033 | 0.975 | 0.044 | 0.037 | 0.579 | 0.035 | | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | | | 0.044 | 0.049 | 0.017 | 0.012 | 0.034 | 0.025 | 0.041 | 0.001 | 0.043 | 0.037 | | | 0.027 | 0.025 | 0.135 | 0.128 | 0.070 | 0.975 | 0.049 | 0.043 | 0.540 | 0.007 | | | 0.025 | 0.047 | 0.042 | 0.029 | 0.034 | 0.025 | 0.048 | 0.043 | 0.005 | 0.040 | | Forget Gate | 0.024 | 0.006 | 0.030 | 0.008 | 0.032 | 0.015 | 0.050 | 0.016 | 0.024 | 0.005 | | | 0.012 | 0.015 | 0.013 | 0.046 | 0.013 | 0.045 | 0.041 | 0.048 | 0.050 | 0.019 | | | 0.049 | 0.044 | 0.046 | 0.005 | 0.000 | 0.023 | 0.015 | 0.046 | 0.019 | 0.037 | | | 0.007 | 0.014 | 0.030 | 0.007 | 0.043 | 0.016 | 0.044 | 0.025 | 0.047 | 0.037 | | Output Gate | 0.030 | 0.002 | 0.043 | 0.038 | 0.005 | -0.033 | 0.049 | 0.001 | 0.012 | 0.014 | | | 0.006 | 0.024 | 0.012 | 0.001 | 0.046 | 0.043 | 0.049 | 0.036 | 0.039 | 0.014 | | | 0.008 | 0.048 | 0.029 | 0.037 | 0.038 | -0.044 | 0.023 | 0.012 | 0.002 | 0.035 | | | 0.021 | 0.045 | 0.002 | 0.017 | 0.006 | 0.048 | 0.019 | 0.020 | 0.023 | 0.012 |
The prediction accuracy of the different layers of the LSTM neural work is shown in Figure 6. It can be seen that the proposed multi-layer bidirectional LSTM neural network is an effective method and is accurate enough for the load forecast problem. Furthermore, with the increasing numbers of layers, the prediction result will be more accurate. However, when there are four layers, the prediction accuracy will increase, on the contrary. It is said that three layers is suitable for the prediction of the load sequence data in this paper. Table 2 shows the prediction errors of MAPE between the different layers of the different neural network model.
图 6 显示了 LSTM 神经网络各层的预测精度。结果表明,本文提出的多层双向 LSTM 神经网络方法有效且能准确进行负荷预测。随着网络层数增加,预测精度会相应提高。但当层数达到四层时,预测精度反而会出现下降。研究发现,三层网络结构最适合本文的负荷序列数据预测需求。表 2 对比了不同神经网络模型各层的平均绝对百分比误差(MAPE)。

Figure 6. The load forecasting of different layers of LSTM.
图 6. LSTM 各网络层的负荷预测结果。
Table 2. Error of different stacked layers of bidirectional LSTM.
表 2. 双向 LSTM 各堆叠层的误差对比。
Bi-LSTM Layers  "双向长短期记忆网络层" 1 2 3 4 5
MAPE (%)  平均绝对百分比误差(%) 0.51 0.465 0.405 0.41 0.41
Bi-LSTM Layers 1 2 3 4 5 MAPE (%) 0.51 0.465 0.405 0.41 0.41| Bi-LSTM Layers | 1 | 2 | 3 | 4 | 5 | | :---: | :---: | :---: | :---: | :---: | :---: | | MAPE (%) | 0.51 | 0.465 | 0.405 | 0.41 | 0.41 |

4.3. Method Comparison  4.3. 方法对比

In order to show the high performance of the multi-layer stacked bidirectional LSTM neural network in short-term load forecasting, different methods that contain a BP neural network, ELM, traditional LSTM, and multi-layer stacked bidirectional LSTM model are discussed in this paper. The prediction results all the methods tested in this paper followed the same trend with the real load power shown in Figure 7. It can be seen that the multilayer stacked bidirectional LSTM neural network will be more competitive, and the error comparison of those methods is shown in Table 3, where the MAPE, RMSE, and MAE index are calculated and compared for one day over 24 h . From Table 3, the average MAPE of the proposed method prediction model is 0.4137 % 0.4137 % 0.4137%0.4137 \%; however, the average MAPE values of the BP, LSTM, and ELM models are 1.485 % , 1.030 % 1.485 % , 1.030 % 1.485%,1.030%1.485 \%, 1.030 \%, and 0.77 % 0.77 % 0.77%0.77 \%, respectively. The average RMSE of the proposed method prediction model is 0.706 , and those of the BP, LSTM, and ELM models are 2.95, 1.921, and 1.369, respectively.
为验证多层堆叠双向 LSTM 神经网络在短期负荷预测中的优越性能,本文对比分析了 BP 神经网络、极限学习机(ELM)、传统 LSTM 及多层堆叠双向 LSTM 等模型的预测效果。如图 7 所示,所有测试模型的预测结果均与实际负荷功率变化趋势相符。实验结果表明,多层堆叠双向 LSTM 神经网络具有显著优势。表 3 详细列报了各模型在 24 小时周期内的平均绝对百分比误差(MAPE)、均方根误差(RMSE)和平均绝对误差(MAE)指标对比数据。其中,本文提出的预测模型平均 MAPE 为 0.4137 % 0.4137 % 0.4137%0.4137 \% ,明显优于 BP 神经网络( 1.485 % , 1.030 % 1.485 % , 1.030 % 1.485%,1.030%1.485 \%, 1.030 \% )、LSTM( 0.77 % 0.77 % 0.77%0.77 \% )和 ELM 模型。在 RMSE 指标方面,新模型取得 0.706 的优异表现,相较之下 BP 模型(2.95)、LSTM 模型(1.921)和 ELM 模型(1.369)的误差水平显著偏高。

Figure 7. Load power of different forecasting methods.
图 7. 不同负荷预测方法的功率对比。

Table 3. Error comparison of different prediction models.
表 3. 各类预测模型的误差对比。
Prediction Model  预测模型 BP LSTM ELM Proposed Method  建议方案
MAPE (%)  平均绝对百分比误差(%) 1.485 1.03 0.77 0.405
RMSE 2.95 1.921 1.369 0.706
MAE 33.564 23.236 17.07 9.341
Prediction Model BP LSTM ELM Proposed Method MAPE (%) 1.485 1.03 0.77 0.405 RMSE 2.95 1.921 1.369 0.706 MAE 33.564 23.236 17.07 9.341| Prediction Model | BP | LSTM | ELM | Proposed Method | | :---: | :---: | :---: | :---: | :---: | | MAPE (%) | 1.485 | 1.03 | 0.77 | 0.405 | | RMSE | 2.95 | 1.921 | 1.369 | 0.706 | | MAE | 33.564 | 23.236 | 17.07 | 9.341 |
计算了 ELM 、 LSTM 、 BP 和表 4 中提出的方法之间的不同时间间隔误差。2 h间隔预测结果在不同评价指标下存在波动。然而,所提出的方法的总评价指标在一天内是最低的,并且计算了定量分析预测误差,如图 8 所示。由此可见,基于多层双向LSTM预测模型所提出的方法更能把握预测样本信息,具有更具竞争力的预测性能。多层堆叠双向 LSTM 神经网络模型可以保留载荷序列的原始特性,并通过在无监督训练中加入误差来减少数据误差,从而增强预测模型的鲁棒性。
表 4.在两小时间隔内对不同预测模型进行误差比较。
预测时间间隔 血压 [6] LSTM [21]  长短期记忆网络 [21] 榆树 [8] 建议的方法
MAPE%  平均绝对百分比误差 有效值 MAPE%  平均绝对百分比误差 有效值 MAPE%  平均绝对百分比误差 有效值 MAPE%  平均绝对百分比误差 有效值
0-2 小时 0.73 28.53 14.76 0.59 15.94 11.79 0.58 14.21 11.58 0.35 9.36 7.13
2-4 小时 0.92 33.16 17.71 1.18 26.11 22.66 1.11 25.33 21.56 0.49 10.8 9.39
4-6 小时 1.62 40.76 30.47 1.01 23.14 19.18 1.08 23.17 20.49 0.41 9.09 7.7
6-8 小时 1.71 40.38 35.08 1.03 25.62 21.21 0.92 23.4 18.96 0.52 12.96 10.66
8-10 小时 2.67 90.05 60.54 1.22 38.12 28.11 1.26 41.67 28.95 0.49 14.95 11.43
10-12 小时 1.1 30.61 27.58 0.79 24.86 19.93 0.65 21.26 16.38 0.39 11.89 9.96
12-14 小时 1.27 36.6 30.36 0.66 22.32 15.65 0.57 18.78 13.51 0.43 12.9 10.41
14-16 小时 1.05 32.59 25.15 0.56 18.35 13.4 0.61 17.76 14.67 0.39 11.73 9.51
16-18 小时 0.95 28.58 23.3 0.78 23.36 19.12 0.43 13.44 10.37 0.27 7.96 6.54
18-20 小时 1.09 33.3 27.2 1.0 30.51 25.11 0.56 17.02 14.01 0.32 9.82 8.03
20-22 小时 2.27 78.7 57.12 1.85 65.6 46.68 0.93 31.81 23.52 0.48 16.9 11.99
22-24 小时 2.42 73.32 54.88 1.57 41.71 35.33 0.48 13.01 10.8 0.42 12.76 9.56
Forecast Time Interval BP [6] LSTM [21] ELM [8] Proposed Method MAPE% RMSE MAE MAPE% RMSE MAE MAPE% RMSE MAE MAPE% RMSE MAE 0-2 h 0.73 28.53 14.76 0.59 15.94 11.79 0.58 14.21 11.58 0.35 9.36 7.13 2-4 h 0.92 33.16 17.71 1.18 26.11 22.66 1.11 25.33 21.56 0.49 10.8 9.39 4-6 h 1.62 40.76 30.47 1.01 23.14 19.18 1.08 23.17 20.49 0.41 9.09 7.7 6-8 h 1.71 40.38 35.08 1.03 25.62 21.21 0.92 23.4 18.96 0.52 12.96 10.66 8-10 h 2.67 90.05 60.54 1.22 38.12 28.11 1.26 41.67 28.95 0.49 14.95 11.43 10-12 h 1.1 30.61 27.58 0.79 24.86 19.93 0.65 21.26 16.38 0.39 11.89 9.96 12-14 h 1.27 36.6 30.36 0.66 22.32 15.65 0.57 18.78 13.51 0.43 12.9 10.41 14-16 h 1.05 32.59 25.15 0.56 18.35 13.4 0.61 17.76 14.67 0.39 11.73 9.51 16-18 h 0.95 28.58 23.3 0.78 23.36 19.12 0.43 13.44 10.37 0.27 7.96 6.54 18-20 h 1.09 33.3 27.2 1.0 30.51 25.11 0.56 17.02 14.01 0.32 9.82 8.03 20-22 h 2.27 78.7 57.12 1.85 65.6 46.68 0.93 31.81 23.52 0.48 16.9 11.99 22-24 h 2.42 73.32 54.88 1.57 41.71 35.33 0.48 13.01 10.8 0.42 12.76 9.56| Forecast Time Interval | BP [6] | | | LSTM [21] | | | ELM [8] | | | Proposed Method | | | | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | | | MAPE% | RMSE | MAE | MAPE% | RMSE | MAE | MAPE% | RMSE | MAE | MAPE% | RMSE | MAE | | 0-2 h | 0.73 | 28.53 | 14.76 | 0.59 | 15.94 | 11.79 | 0.58 | 14.21 | 11.58 | 0.35 | 9.36 | 7.13 | | 2-4 h | 0.92 | 33.16 | 17.71 | 1.18 | 26.11 | 22.66 | 1.11 | 25.33 | 21.56 | 0.49 | 10.8 | 9.39 | | 4-6 h | 1.62 | 40.76 | 30.47 | 1.01 | 23.14 | 19.18 | 1.08 | 23.17 | 20.49 | 0.41 | 9.09 | 7.7 | | 6-8 h | 1.71 | 40.38 | 35.08 | 1.03 | 25.62 | 21.21 | 0.92 | 23.4 | 18.96 | 0.52 | 12.96 | 10.66 | | 8-10 h | 2.67 | 90.05 | 60.54 | 1.22 | 38.12 | 28.11 | 1.26 | 41.67 | 28.95 | 0.49 | 14.95 | 11.43 | | 10-12 h | 1.1 | 30.61 | 27.58 | 0.79 | 24.86 | 19.93 | 0.65 | 21.26 | 16.38 | 0.39 | 11.89 | 9.96 | | 12-14 h | 1.27 | 36.6 | 30.36 | 0.66 | 22.32 | 15.65 | 0.57 | 18.78 | 13.51 | 0.43 | 12.9 | 10.41 | | 14-16 h | 1.05 | 32.59 | 25.15 | 0.56 | 18.35 | 13.4 | 0.61 | 17.76 | 14.67 | 0.39 | 11.73 | 9.51 | | 16-18 h | 0.95 | 28.58 | 23.3 | 0.78 | 23.36 | 19.12 | 0.43 | 13.44 | 10.37 | 0.27 | 7.96 | 6.54 | | 18-20 h | 1.09 | 33.3 | 27.2 | 1.0 | 30.51 | 25.11 | 0.56 | 17.02 | 14.01 | 0.32 | 9.82 | 8.03 | | 20-22 h | 2.27 | 78.7 | 57.12 | 1.85 | 65.6 | 46.68 | 0.93 | 31.81 | 23.52 | 0.48 | 16.9 | 11.99 | | 22-24 h | 2.42 | 73.32 | 54.88 | 1.57 | 41.71 | 35.33 | 0.48 | 13.01 | 10.8 | 0.42 | 12.76 | 9.56 |
图 8.不同预测模式的比较。不同的训练数据样本会显著影响负载预测模型的鲁棒性。训练数据集中的样本越小,加载越准确。有 48 或 24 个测量点,训练数据集会更加随机,这会增加负荷预测的难度。本文使用具有 48 个测量点的样本数据集对所提方法进行训练,以验证所提方法的鲁棒性并将其与其他方法进行比较。图 9 显示了负载预测结果与半小时训练数据集的比较;所提方法具有足够的精度,可以跟踪基于深度学习的负载剖面,可以提取离散样本负载数据的内部特征,并通过多层双向训练机制提高所提方法的鲁棒性。所提方法的 MAPE 为 2.39 % 2.39 % 2.39%2.39 \%,如 表 5 所示。
图 9.不同方法的负载预测。表 5.不同方法之间的错误。
预测模型 BP (英语) LSTM 系列 榆树 建议的方法
MAPE (%) 6.77 5.44 5.61 2.39
有效值 91.9627 64.244 67.237 50.827
69.535 51.158 56.03 23.763
Prediction Model BP LSTM ELM Proposed Method MAPE (%) 6.77 5.44 5.61 2.39 RMSE 91.9627 64.244 67.237 50.827 MAE 69.535 51.158 56.03 23.763| Prediction Model | BP | LSTM | ELM | Proposed Method | | :--- | :--- | :--- | :--- | :--- | | MAPE (%) | 6.77 | 5.44 | 5.61 | 2.39 | | RMSE | 91.9627 | 64.244 | 67.237 | 50.827 | | MAE | 69.535 | 51.158 | 56.03 | 23.763 |
此外,为了验证所提方法对周末或节假日等特殊日子较复杂环境的泛化能力,基于不同的测点,以历史日期对研究案例进行了检验;这些如图 10 和图 11 所示。可以看出,载荷剖面的预测结果可以跟踪不同采样时间间隔内的测量数据精度,采样时间会影响预测结果。图 10 和图 11 中的结果表明,所提出的多层堆叠双向 LSTM 方法比提到的其他方法(如 BP 神经网络、ELM 和传统 LSTM 神经网络)更准确。
Figure 10. The load forecasting for a weekend with a 0.5 h sample training dataset.
图 10. 基于 0.5 小时样本训练数据的周末负荷预测结果。

Figure 11. The load forecasting for a weekend with a 1 h sample training dataset.
图 11. 基于 1 小时样本训练数据集的周末负荷预测结果。

5. Conclusions  5. 结论

Accurate short-term load forecasting is a huge challenge due to the complexity of the electrical load composition in modern power systems. In this paper, based on the traditional LSTM neural network, a multi-layer stacked type short-term load forecasting method is proposed. Reverse computing combined with forward computing is designed to solve the unidirectionality of the memory process during the training period. The output gate can collaborate the implied information in the historical load series. Furthermore, a multi-layer stacked deep learning style for the neural network is proposed to perceive a low-level features form of power load and form a more abstract high-level representation of load characteristics. At last, a load forecasting frame based on the multi-layer bidirectional LSTM neural network is proposed that contains neural network model construction, historical load profile training, and load forecasting. In the experiments, the real operational load data of a substation are tested, and the performance of the proposed method is tested and evaluated. The results show that the proposed multi-layer stacked bidirectional LSTM neural network method has high performance and is more accurate than the others. The proposed method can retain the original information as much as possible and has a strong memory function to extract the relevant information from historical load sequences.
现代电力系统的负荷构成复杂,使得短期负荷精准预测面临巨大挑战。本研究在传统 LSTM 神经网络基础上,创新性地提出了一种多层堆叠式短期负荷预测方法。通过设计反向计算与正向计算相结合的训练机制,有效解决了传统方法在训练过程中记忆单元单向传递的局限性。输出门的设计能够有效整合历史负荷序列中的隐含特征信息。此外,该方法采用多层堆叠的深度学习架构,既能捕捉电力负荷的底层特征,又能构建更高层次的负荷特征抽象表示。最终建立的多层双向 LSTM 神经网络预测框架,完整涵盖了网络模型构建、历史负荷数据训练和负荷预测三个关键环节。基于某变电站实际运行数据的实验表明,该多层堆叠双向 LSTM 神经网络方法预测性能优异,准确度显著优于其他方法,不仅能最大限度保留原始数据信息,还具备强大的时序记忆能力,可有效提取历史负荷序列中的关键特征信息。
However, with the increase in the sequence length of the problem, the efficiency of the proposed method will reduce because the capacity of the memory units is limited. There are four fully connected layers in each cell in the LSTM neural network; it needs a lot of computing time in a deep stacked LSTM neural network. Future works will focus on the industrial application of the proposed method with a more complex dataset. (1) We built an online load forecasting system. The application of load forecasting is employed for the dispatch of the power system, which is working all the time. Hence, an online and rolling load forecasting system using the historical load data is the basis of this work. (2) We corrected the load forecasting results. If the load forecast results deviate greatly, the forecast points are corrected based on the data before and after time points.
然而,随着问题序列长度的增加,由于内存单元容量有限,所提方法的效率会有所下降。LSTM 神经网络中每个单元包含四个全连接层,在深度堆叠的 LSTM 网络中需要耗费大量计算时间。后续研究将重点探索该方法在更复杂工业数据集中的应用。(1) 我们开发了一套在线负荷预测系统。该系统持续运行,为电力系统调度提供负荷预测服务。因此,基于历史负荷数据构建在线滚动预测系统是本项工作的基础。(2) 我们对预测结果进行了修正。当负荷预测出现较大偏差时,会根据前后时间节点的数据对预测点进行校准。
Author Contributions: Conceptualization, C.C. and Y.T.; methodology, Y.T., T.Z.; validation, C.C. and Y.T.; writing-review and editing, C.C. and Y.T. and Z.D. All authors have read and agreed to the published version of the manuscript.
作者贡献:研究构思由 C.C.和 Y.T.共同完成;研究方法由 Y.T.和 T.Z.设计;验证工作由 C.C.和 Y.T.进行;文稿撰写、审阅及修改由 C.C.、Y.T.和 Z.D.共同完成。全体作者均已审阅并同意论文的最终发表版本。
Funding: This research was funded by “National Natural Science Foundation of China, grant number 51607057”, “The Fundamental Research Funds for the Central Universities, grant number 2020B22514” and “The open funding of Jiangsu Key Laboratory of Power Transmission & Distribution Equipment Technology, grant number 2021JSSPD07”.
"基金项目:本研究获得国家自然科学基金(项目编号 51607057)、中央高校基本科研业务费专项资金(项目编号 2020B22514)以及江苏省输配电装备技术重点实验室开放基金(项目编号 2021JSSPD07)的资助。"

Institutional Review Board Statement: Not applicable.
机构审查委员会声明:无需适用。

Informed Consent Statement: Not applicable.
知情同意声明:无需提供。

Conflicts of Interest: The authors declare no conflict of interest.
利益冲突声明:作者宣称不存在利益冲突。

References  参考资料

  1. Quilumba, F.L.; Lee, W.J.; Huang, H.; Wang, D.Y.; Szabados, R.L. Using smart meter data to improve the accuracy of intraday load forecasting considering customer behavior similarities. IEEE Trans. Smart Grid 2014, 6, 911-918. [CrossRef]
    奎伦巴(F.L. Quilumba)、李(W.J. Lee)、黄(H. Huang)、王(D.Y. Wang)、萨巴多斯(R.L. Szabados)合著的《利用智能电表数据提升日内负荷预测精度——基于用户行为相似性分析》一文,发表于《IEEE 智能电网汇刊》2014 年第 6 卷,第 911-918 页。[CrossRef]
  2. Xu, D.; Wu, Q.; Zhou, B.; Li, C.; Bai, L.; Huang, S. Distributed multi-energy operation of coupled electricity, heating and natural gas networks. IEEE Trans. Sustain. Energy 2019, 11, 2457-2469. [CrossRef]
    徐东; 吴强; 周波; 李超; 白浪; 黄晟. 电力、供热与天然气网络耦合的分布式多能协同运行研究. 《IEEE 可持续能源汇刊》2019 年第 11 期, 第 2457-2469 页. [CrossRef]
  3. Al-Hamadi, H.M.; Soliman, S.A. Short-term electric load forecasting based on Kalman filtering algorithm with moving window weather and load model. Electr. Power Syst. Res. 2004, 68, 47-59. [CrossRef]
    Al-Hamadi, H.M.; Soliman, S.A. 基于卡尔曼滤波算法结合移动窗口天气及负荷模型的短期电力负荷预测。《电力系统研究》2004 年第 68 期,第 47-59 页。[CrossRef]
  4. Ceperic, E.; Ceperic, V.; Baric, A. A strategy for short-term load forecasting by support vector regression machines. IEEE Trans. Power Syst. 2013, 28, 4356-4364. [CrossRef]
    Ceperic, E.; Ceperic, V.; Baric, A. 提出了一种利用支持向量回归机进行短期负荷预测的策略。《IEEE 电力系统汇刊》2013 年第 28 卷第 4356-4364 页。[CrossRef]
  5. Kaur, A.; Nonnenmacher, L.; Coimbra, C.F. Net load forecasting for high renewable energy penetration grids. Energy 2016, 114, 1073-1084. [CrossRef]
    Kaur, A.; Nonnenmacher, L.; Coimbra, C.F. 高比例可再生能源电网的净负荷预测研究。《能源》2016 年第 114 卷,第 1073-1084 页。 [CrossRef]
  6. Cecati, C.; Kolbusz, J.; Rozycki, P.; Siano, P.; Wilamowski, B.M. A novel RBF training algorithm for short-term electric load forecasting and comparative studies. IEEE Trans. Ind. Electron. 2015, 62, 6519-6529. [CrossRef]
    Cecati, C.; Kolbusz, J.; Rozycki, P.; Siano, P.; Wilamowski, B.M. 一种新型径向基函数训练算法在短期电力负荷预测中的应用及对比研究。发表于《IEEE 工业电子学汇刊》2015 年第 62 卷,第 6519-6529 页。 [CrossRef]
  7. Teo, T.T.; Logenthiran, T.; Woo, W.L. Forecasting of photovoltaic power using extreme learning machine. In Proceedings of the IEEE Innovative in Smart Grid Technologies-Asia (ISGT ASIA), Bangkok, Thailand, 3-6 November 2015; pp. 1-6.
    Teo, T.T.; Logenthiran, T.; Woo, W.L. 采用极限学习机进行光伏发电功率预测。发表于《IEEE 亚洲智能电网技术创新大会论文集》(ISGT ASIA),会议地点泰国曼谷,2015 年 11 月 3 日至 6 日;页码 1-6。
  8. Teo, T.T.; Logenthiran, T.; Woo, W.L.; Abidi, K. Forecasting of photovoltaic power using regularized ensemble extreme learning machine. In Proceedings of the IEEE Region 10 Conference (TENCON), Singapore, 22-25 November 2016; pp. 455-458.
    Teo, T.T.; Logenthiran, T.; Woo, W.L.; Abidi, K. 采用正则化集成极限学习机进行光伏功率预测。发表于《IEEE 第十区大会(TENCON)》,新加坡,2016 年 11 月 22-25 日,页码 455-458。
  9. Huang, C.J.; Kuo, P.H. Multiple-input deep convolutional neural network model for short-term photovoltaic power forecasting. IEEE Access 2019, 7, 74822-74834. [CrossRef]
    黄 C.J.与郭 P.H.合作发表的《基于多输入深度卷积神经网络的短期光伏功率预测模型》,收录于 IEEE Access 2019 年第 7 卷,页码 74822-74834。[CrossRef]
  10. Zang, H.; Cheng, L.; Ding, T.; Cheung, K.W.; Liang, Z.; Wei, Z.; Sun, G. Hybrid method for short-term photovoltaic power forecasting based on deep convolutional neural network. IET Gener. Transm. Distrib. 2018, 12, 4557-4567. [CrossRef]
    "臧宏、程亮、丁涛、张光伟、梁震、魏征、孙冠. 基于深度卷积神经网络的短期光伏发电功率混合预测方法. 《IET 发电、输电与配电》2018 年第 12 期, 4557-4567 页. [CrossRef]"
  11. Neo, Y.Q.; Teo, T.T.; Woo, W.L.; Logenthiran, T.; Sharma, A. Forecasting of photovoltaic power using deep belief network. In Proceedings of the 2017 IEEE Region 10 Conference (TENCON), Penang, Malaysia, 5-8 November 2017.
    Neo, Y.Q.; Teo, T.T.; Woo, W.L.; Logenthiran, T.; Sharma, A. 基于深度信念网络的光伏功率预测研究。发表于《2017 年 IEEE 第十区国际会议(TENCON)》,会议地点马来西亚槟城,2017 年 11 月 5 日至 8 日。
  12. Kong, X.; Li, C.; Zheng, F.; Wang, C. Improved deep belief network for short-term load forecasting considering demand-side management. IEEE Trans. Power Syst. 2019, 35, 1531-1538. [CrossRef]
    孔祥龙; 李超; 郑飞; 王川. 考虑需求侧管理的改进深度信念网络在短期负荷预测中的应用。《IEEE 电力系统学报》,2019 年第 35 卷,第 1531-1538 页。[CrossRef]
  13. Dedinec, A.; Filiposka, S.; Kocarev, L. Deep belief network based electricity load forecasting: An analysis of Macedonian case. Energy 2016, 115, 1688-1700. [CrossRef]
    "Dedinec, A.; Filiposka, S.; Kocarev, L. 基于深度信念网络的电力负荷预测:以马其顿为例。Energy 2016 年第 115 卷,第 1688-1700 页。 [CrossRef]"
  14. Chen, K.J.; Chen, K.L.; Wang, Q.; He, Z.; Hu, J.; He, J. Short-term load forecasting with deep residual network. IEEE Trans. Smart Grid 2018, 10, 3943-3953. [CrossRef]
    陈凯杰; 陈凯乐; 王强; 何志; 胡杰; 何军. 基于深度残差网络的短期负荷预测方法. 《IEEE 智能电网汇刊》2018 年第 10 期, 3943-3953 页. [CrossRef]
  15. Ergen, T.; Kozat, S.S. Efficient online learning algorithms based on LSTM neural networks. IEEE Trans. Neural Netw. Learn. Syst. 2017, 29, 3772-3783. [PubMed]
    作者:Ergen, T.; Kozat, S.S. 题名:基于 LSTM 神经网络的高效在线学习算法。期刊:IEEE 神经网络与学习系统汇刊,2017 年第 29 卷,页码 3772-3783。[PubMed]
  16. Greff, K.; Srivastava, R.K.; Koutník, J.; Steunebrink, B.R.; Schmidhuber, J. LSTM: A search space odyssey. IEEE Trans. Neural Netw. Learn. Syst. 2016, 28, 2222-2232. [CrossRef]
    格雷夫(K. Greff)、斯里瓦斯塔瓦(R.K. Srivastava)、库特尼克(J. Koutník)、斯图内布林克(B.R. Steunebrink)、施密德胡伯(J. Schmidhuber)合著的《LSTM:探索空间的奥德赛》,发表于《IEEE 神经网络与学习系统汇刊》2016 年第 28 卷,第 2222-2232 页。[CrossRef]
  17. Feng, Y.; Zhang, T.; Sah, A.P.; Han, L.; Zhang, Z. Using appearance to predict pedestrian trajectories through disparity-guided attention and convolutional LSTM. IEEE Trans. Veh. Technol. 2021, 70, 7480-7494. [CrossRef]
    冯毅、张涛、Sah A.P.、韩磊、张震。基于外观特征的行人轨迹预测方法:视差引导注意力机制与卷积 LSTM 的结合应用。《IEEE 车辆技术汇刊》2021 年第 70 卷,第 7480-7494 页。[CrossRef]
  18. Ergen, T.; Kozat, S.S. Online training of LSTM networks in distributed systems for variable length data sequences. IEEE Trans. Neural Netw. Learn. Syst. 2017, 29, 5159-5165. [CrossRef]
    Ergen, T.; Kozat, S.S. 面向可变长度数据序列的 LSTM 网络分布式在线训练方法。《IEEE 神经网络与学习系统汇刊》,2017 年第 29 卷,第 5159-5165 页。[CrossRef]
  19. Yang, Y.; Zhou, J.; Ai, J.; Bin, Y.; Hanjalic, A.; Shen, H.T.; Ji, Y. Video captioning by adversarial LSTM. IEEE Trans. Image Process. 2018, 27, 5600-5612. [CrossRef]
    杨洋、周杰、艾军、宾洋、Alan Hanjalic、沈鸿涛、季阳. 基于对抗 LSTM 网络的视频描述生成方法. 《IEEE 图像处理汇刊》2018 年第 27 卷,第 5600-5612 页. [CrossRef]
  20. Gao, L.; Guo, Z.; Zhang, H.; Xu, X.; Shen, H.T. Video captioning with attention-based LSTM and semantic consistency. IEEE Trans. Multimedia 2017, 19, 2045-2055. [CrossRef]
    "高 L、郭 Z、张 H、徐 X、沈 HT. 基于注意力机制 LSTM 与语义一致性的视频描述生成技术. IEEE 多媒体汇刊, 2017 年第 19 卷: 2045-2055 页. [CrossRef]"
  21. Sano, A.; Chen, W.; Martinez, D.L.; Taylor, S.; Picard, R.W. Multimodal ambulatory sleep detection using LSTM recurrent neural networks. IEEE J. Biomed. Health Inform. 2018, 23, 1607-1617. [CrossRef]
    "Sano, A.; Chen, W.; Martinez, D.L.; Taylor, S.; Picard, R.W. 基于 LSTM 循环神经网络的多模态移动睡眠监测技术。IEEE 生物医学与健康信息学杂志, 2018 年, 第 23 卷, 第 1607-1617 页. [CrossRef]"
  22. Sahin, S.O.; Kozat, S.S. Nonuniformly sampled data processing using LSTM networks. IEEE Trans. Neural Netw. Learn. Syst. 2018, 30, 1452-1462. [CrossRef]
    Sahin, S.O.; Kozat, S.S. 基于 LSTM 网络的非均匀采样数据处理方法。IEEE 神经网络与学习系统汇刊,2018 年第 30 卷,第 1452-1462 页。 [CrossRef]
  23. Mohan, N.; Soman, K.; Kumar, S.S. A data-driven strategy for short-term electric load forecasting using dynamic mode decomposition model. Appl. Energy 2018, 232, 229-244. [CrossRef]
    Mohan, N.; Soman, K.; Kumar, S.S. 采用动态模式分解模型的数据驱动型短期电力负荷预测策略。《应用能源》2018 年第 232 期,第 229-244 页。[CrossRef]
  24. Tang, X.; Dai, Y.; Wang, T.; Chen, Y. Short-term power load forecasting based on multi-layer bidirectional recurrent neural network. IET Gener. Transm. Distrib. 2019, 13, 3847-3854. [CrossRef]
    唐旭、戴勇、王涛、陈阳。基于多层双向循环神经网络的短期电力负荷预测。《发电、输电与配电》(IET),2019 年第 13 卷,第 3847-3854 页。[CrossRef]
  25. Wang, Y.; Shen, Y.; Mao, S.; Chen, X.; Zou, H. LASSO and LSTM Integrated Temporal Model for Short-Term Solar Intensity Forecasting. IEEE Internet Things J. 2018, 6, 2933-2944. [CrossRef]
    王颖; 沈毅; 毛松; 陈晓; 邹华. 基于 LASSO 与 LSTM 融合的时序模型在短期太阳辐射强度预测中的应用. 《IEEE 物联网期刊》, 2018 年第 6 期, 第 2933-2944 页. [CrossRef]
  26. Ospina, J.; Newaz, A.; Faruque, M.O. Forecasting of PV plant output using hybrid wavelet-based LSTM-DNN structure model. IET Renew. Power Gener. 2019, 13, 1087-1095. [CrossRef]
    Ospina, J.; Newaz, A.; Faruque, M.O. 采用基于小波分解的混合 LSTM-DNN 结构模型进行光伏电站出力预测。《IET 可再生能源发电》2019 年第 13 期,第 1087-1095 页。[CrossRef]
  27. Yu, Y.; Cao, J.; Zhu, J. An LSTM short-term solar irradiance forecasting under complicated weather conditions. IEEE Access 2019, 7, 145651-145666. [CrossRef]
    余勇、曹杰、朱军。复杂天气条件下基于 LSTM 的短期太阳辐照度预测方法。《IEEE Access》2019 年第 7 期,第 145651-145666 页。[CrossRef]
  28. Hong, Y.Y.; Martinez, J.J.F.; Fajardo, A.C. Day-ahead solar irradiation forecasting utilizing gramian angular field and convolutional long short-term memory. IEEE Access 2020, 8, 18741-18753. [CrossRef]
    洪雅燕(Y.Y. Hong)、马丁内斯(J.J.F. Martinez)与法哈多(A.C. Fajardo)合著的论文《基于格拉米安角场与卷积长短期记忆网络的日前太阳辐射预测》,发表于《IEEE Access》2020 年第 8 卷,页码 18741 至 18753。[CrossRef]
  29. Zhou, B.; Ma, X.; Luo, Y.; Yang, D. Wind power prediction based on LSTM networks and nonparametric kernel density estimation. IEEE Access 2019, 7, 165279-165292. [CrossRef]
    周斌、马晓、罗毅、杨东。基于 LSTM 网络与非参数核密度估计的风电功率预测。《IEEE Access》2019 年第 7 期,页码 165279-165292。[CrossRef]
  30. Abdel-Nasser, M.; Mahmoud, K. Accurate photovoltaic power forecasting models using deep LSTM-RNN. Neural Comput. Appl. 2019, 31, 2727-2740. [CrossRef]
    阿卜杜勒-纳赛尔(M.Abdel-Nasser)与马哈茂德(K.Mahmoud)合著的《基于深度 LSTM-RNN 的光伏发电功率高精度预测模型》,发表于《神经网络计算与应用》2019 年第 31 期 2727-2740 页。[CrossRef]
  31. Quek, Y.T.; Woo, W.L.; Logenthiran, T. Load disaggregation using one-directional convolutional stacked long short-term memory recurrent neural network. IEEE Syst. J. 2019, 14, 1395-1404. [CrossRef]
    "Quek, Y.T.; Woo, W.L.; Logenthiran, T. 采用单向卷积堆叠式长短时记忆循环神经网络实现电力负荷分解。发表于《IEEE 系统期刊》2019 年第 14 卷,第 1395-1404 页。 [CrossRef]"