这是用户在 2024-12-31 10:44 为 https://app.immersivetranslate.com/pdf-pro/6dc56591-4676-4faf-9aea-ad0bd5d065fb 保存的双语快照页面，由 沉浸式翻译 提供双语支持。了解如何保存？


论辅助问题原则的应用

  摘要


辅助问题原理（APP）源于分解-协调方法的一般理论，为一级方法和两级方法建立了一个全面的框架。本文专门介绍了 APP 两级方法的成果，以便有效地应用于一些工程问题。


关键字优化算法、分解/协调方法、辅助问题原理。

  1.导言


在并行/分布式计算环境中，可以有效地解决大规模优化问题。事实证明，去分区协调方法对利用这种环境非常有用；从这种方法衍生出的方法可分为单级或定点方法（子问题之间没有明确的协调行动）和双级方法（子问题通过在协调级更新的价格而得到解决）。

辅助问题原理（APP，参考文献 1-2）源自分解-协调方法的一般理论。它为单层和双层方法建立了一个全面的框架，并将许多已知算法作为特例纳入其中。在合理的假设条件下，APP 已经建立了收敛性证明，特别是对于两级方法。

利用众所周知的变量复制技术，总是可以得到一个优化问题，其可行性集可以很容易地分解为可行性子集的笛卡尔乘积，某些线性相等的情况除外。这样就很容易将问题分解成仅由线性相等关系耦合的子问题，这就是应用 APP 两级方法的完美候选方案。在某些应用中，例如电力系统的优化问题，会遇到一些变量重复出现的困难，这些变量总是以差分形式出现，我们把它们称为 Δ Δ Delta\Delta 变量。在之前的一篇论文（参考文献 3）中，我们已经设想了一种合适的方法来为 Δ Δ Delta\Delta 变量建模，以便进行后续的重复/分解，这样就可以直接应用 APP 的两级方法。

本文将针对具有 Δ Δ Delta\Delta 变量的 APP 得出具体结果，以改进其迭代方案的特性。我们首先回顾了变量复制技术及其在 APP 中的应用，然后展示了 Δ Δ Delta\Delta 变量的建模。接下来，我们利用这种建模的特殊性，获得了一种特定形式的迭代方案，该方案具有一些相关的特点，例如可以轻松地制定子问题的可行性约束条件，并对 Δ Δ Delta\Delta 变量进行独立处理。针对大规模电力系统优化问题的研究结果表明了新形式迭代方案的有效性。关于包含这些变量的 APP 方法收敛的充分条件的证明见附录（第 6 节）。


2.变量和 APP 的重复


任何优化问题都可以用一般形式表示
min f ( x ) , s.t. g ( x ) = 0 , h ( x ) ≥ 0 , min      f ( x ) ,  s.t.       g ( x ) = 0 ,      h ( x ) ≥ 0 , {:[min,f(x)","],[" s.t. ",g(x)=0","],[,h(x) >= 0","]:}\begin{array}{ll} \min & f(x), \\ \text { s.t. } & g(x)=0, \\ & h(x) \geq 0, \end{array}

其中， x x xx 是变量的 m m mm 向量， f ( x ) f ( x ) f(x)f(x) 是表示优化目标的标量函数， g ( x ) g ( x ) g(x)g(x) 和 h ( x ) h ( x ) h(x)h(x) 是 s s ss 向量， s < m s < m s < ms<m 和 t t tt 是定义了向量 x x xx 的可行性约束的相等和不等式约束的向量函数。一般来说， f ( x ) f ( x ) f(x)f(x) 和 g ( x ) g ( x ) g(x)g(x) 或 h ( x ) h ( x ) h(x)h(x) 的任何分量可能是线性或非线性的，并且可能取决于向量 x x xx 的部分或全部分量。

2.1.变量重复。假设问题（1）的形式为
min f ( x 1 , x 2 , y ) , s.t. g 1 ( x 1 , y ) = 0 , g 2 ( x 2 , y ) = 0 , h 1 ( x 1 , y ) ≥ 0 , h 2 ( x 2 , y ) ≥ 0 , min      f x 1 , x 2 , y ,  s.t.       g 1 x 1 , y = 0 ,      g 2 x 2 , y = 0 ,      h 1 x 1 , y ≥ 0 ,      h 2 x 2 , y ≥ 0 , {:[min,f(x_(1),x_(2),y)","],[" s.t. ",g_(1)(x_(1),y)=0","],[,g_(2)(x_(2),y)=0","],[,h_(1)(x_(1),y) >= 0","],[,h_(2)(x_(2),y) >= 0","]:}\begin{array}{ll} \min & f\left(x_{1}, x_{2}, y\right), \\ \text { s.t. } & g_{1}\left(x_{1}, y\right)=0, \\ & g_{2}\left(x_{2}, y\right)=0, \\ & h_{1}\left(x_{1}, y\right) \geq 0, \\ & h_{2}\left(x_{2}, y\right) \geq 0, \end{array}
  其中
x = [ x 1 T , x 2 T , y T ] T , g = { g 1 , g 2 } , h = { h 1 , h 2 } , x = x 1 T , x 2 T , y T T , g = g 1 , g 2 , h = h 1 , h 2 , x=[x_(1)^(T),x_(2)^(T),y^(T)]^(T),quad g={g_(1),g_(2)},quad h={h_(1),h_(2)},x=\left[x_{1}^{T}, x_{2}^{T}, y^{T}\right]^{T}, \quad g=\left\{g_{1}, g_{2}\right\}, \quad h=\left\{h_{1}, h_{2}\right\},
  和
dim { x 1 } = m 1 , dim { x 2 } = m 2 , dim { y } = m y dim x 1 = m 1 , dim x 2 = m 2 , dim { y } = m y dim{x_(1)}=m_(1),quad dim{x_(2)}=m_(2),quad dim{y}=m_(y)\operatorname{dim}\left\{x_{1}\right\}=m_{1}, \quad \operatorname{dim}\left\{x_{2}\right\}=m_{2}, \quad \operatorname{dim}\{y\}=m_{y},
dim { g 1 } = s 1 , dim { g 2 } = s 2 , dim { h 1 } = t 1 , dim { h 2 } = t 2 dim g 1 = s 1 , dim g 2 = s 2 , dim h 1 = t 1 , dim h 2 = t 2 dim{g_(1)}=s_(1),quad dim{g_(2)}=s_(2),quad dim{h_(1)}=t_(1),quad dim{h_(2)}=t_(2)\operatorname{dim}\left\{g_{1}\right\}=s_{1}, \quad \operatorname{dim}\left\{g_{2}\right\}=s_{2}, \quad \operatorname{dim}\left\{h_{1}\right\}=t_{1}, \quad \operatorname{dim}\left\{h_{2}\right\}=t_{2}.

在子集 y y yy 不为空的相关情况下（ m y ≠ 0 m y ≠ 0 m_(y)!=0m_{y} \neq 0 ），可行性约束子集 { g 1 , h 1 } , { g 2 , h 2 } g 1 , h 1 , g 2 , h 2 {g_(1),h_(1)},{g_(2),h_(2)}\left\{g_{1}, h_{1}\right\},\left\{g_{2}, h_{2}\right\} 是耦合的。在这种情况下，利用变量重复技术，总是可以得到一个新的优化问题，等价于 (2)，其理想特性是可行性约束子集是解耦的，原来的耦合通过所谓的一致性约束来执行。它是以增加维度为代价得到的：新优化问题定义在维度为 m + m y m + m y m+m_(y)m+m_{y} 的空间中，并添加了 m y m y m_(y)m_{y} 线性一致性约束。

简而言之，优化问题 (2) 的目标函数采用了一致的新表述，现在用函数 J J JJ 表示，可写成
min J ( u 1 , u 2 ) ≡ min J ( x 1 , x 2 , y 12 , y 21 ) , s.t. g 1 ( u 1 ) ≡ g 1 ( x 1 , y 12 ) = 0 , g 2 ( u 2 ) ≡ g 2 ( x 2 , y 21 ) = 0 , h 1 ( u 1 ) ≡ h 1 ( x 1 , y 12 ) ≥ 0 , h 2 ( u 2 ) ≡ h 2 ( x 2 , y 21 ) ≥ 0 , Θ ( u 1 , u 2 ) ≡ y 12 − y 21 = 0 , min      J u 1 , u 2 ≡ min J x 1 , x 2 , y 12 , y 21 ,  s.t.       g 1 u 1 ≡ g 1 x 1 , y 12 = 0 ,      g 2 u 2 ≡ g 2 x 2 , y 21 = 0 ,      h 1 u 1 ≡ h 1 x 1 , y 12 ≥ 0 ,      h 2 u 2 ≡ h 2 x 2 , y 21 ≥ 0 ,      Θ u 1 , u 2 ≡ y 12 − y 21 = 0 , {:[min,J(u_(1),u_(2))-=min J(x_(1),x_(2),y_(12),y_(21))","],[" s.t. ",g_(1)(u_(1))-=g_(1)(x_(1),y_(12))=0","],[,g_(2)(u_(2))-=g_(2)(x_(2),y_(21))=0","],[,h_(1)(u_(1))-=h_(1)(x_(1),y_(12)) >= 0","],[,h_(2)(u_(2))-=h_(2)(x_(2),y_(21)) >= 0","],[,Theta(u_(1),u_(2))-=y_(12)-y_(21)=0","]:}\begin{array}{ll} \min & J\left(u_{1}, u_{2}\right) \equiv \min J\left(x_{1}, x_{2}, y_{12}, y_{21}\right), \\ \text { s.t. } & g_{1}\left(u_{1}\right) \equiv g_{1}\left(x_{1}, y_{12}\right)=0, \\ & g_{2}\left(u_{2}\right) \equiv g_{2}\left(x_{2}, y_{21}\right)=0, \\ & h_{1}\left(u_{1}\right) \equiv h_{1}\left(x_{1}, y_{12}\right) \geq 0, \\ & h_{2}\left(u_{2}\right) \equiv h_{2}\left(x_{2}, y_{21}\right) \geq 0, \\ & \Theta\left(u_{1}, u_{2}\right) \equiv y_{12}-y_{21}=0, \end{array}

其中 u 1 u 1 u_(1)u_{1} 和 u 2 u 2 u_(2)u_{2} 是
u 1 = [ x 1 y 12 ] , u 2 = [ x 2 y 21 ] u 1 = x 1 y 12 , u 2 = x 2 y 21 u_(1)=[[x_(1)],[y_(12)]],quadu_(2)=[[x_(2)],[y_(21)]]u_{1}=\left[\begin{array}{l} x_{1} \\ y_{12} \end{array}\right], \quad u_{2}=\left[\begin{array}{l} x_{2} \\ y_{21} \end{array}\right]

y 12 y 12 y_(12)y_{12} 是优化变量的 m y m y m_(y)m_{y} 向量，代表第一个子集 y y yy 中的重叠变量 u 1 , y 21 u 1 , y 21 u_(1),y_(21)u_{1}, y_{21} 是第二个子集 u 2 u 2 u_(2)u_{2} 中相同变量 y y yy 的 m y m y m_(y)m_{y} 向量， Θ ( u 1 , u 2 ) Θ u 1 , u 2 Theta(u_(1),u_(2))\Theta\left(u_{1}, u_{2}\right) 是一致性约束的 m y m y m_(y)m_{y} 向量函数。问题 (3) 的简洁写法是
min u 1 ∈ U 1 u 2 ∈ U 2 J ( u 1 , u 2 ) , s.t. Θ ( u 1 , u 2 ) = 0 , min u 1 ∈ U 1 u 2 ∈ U 2   J u 1 , u 2 ,  s.t.  Θ u 1 , u 2 = 0 , {:[min_({:[u_(1)inU_(1)],[u_(2)inU_(2)]:}),J(u_(1),u_(2))","],[" s.t. ",Theta(u_(1),u_(2))=0","]:}\begin{array}{cl} \min _{\substack{u_{1} \in U_{1} \\ u_{2} \in U_{2}}} & J\left(u_{1}, u_{2}\right), \\ \text { s.t. } & \Theta\left(u_{1}, u_{2}\right)=0, \end{array}
  其中
U 1 = { u 1 : g 1 ( u 1 ) = 0 , h 1 ( u 1 ) ≥ 0 } , U 2 = { u 2 : g 2 ( u 2 ) = 0 , h 2 ( u 2 ) ≥ 0 } . U 1 = u 1 : g 1 u 1 = 0 , h 1 u 1 ≥ 0 , U 2 = u 2 : g 2 u 2 = 0 , h 2 u 2 ≥ 0 . {:[U_(1)={u_(1):g_(1)(u_(1))=0,h_(1)(u_(1)) >= 0}","],[U_(2)={u_(2):g_(2)(u_(2))=0,h_(2)(u_(2)) >= 0}.]:}\begin{aligned} U_{1} & =\left\{u_{1}: g_{1}\left(u_{1}\right)=0, h_{1}\left(u_{1}\right) \geq 0\right\}, \\ U_{2} & =\left\{u_{2}: g_{2}\left(u_{2}\right)=0, h_{2}\left(u_{2}\right) \geq 0\right\} . \end{aligned}

在公式 (5) 中，公式 (3) 的可行性约束 { g i , h i } , i = 1 , 2 g i , h i , i = 1 , 2 {g_(i),h_(i)},i=1,2\left\{g_{i}, h_{i}\right\}, i=1,2 被视为隐含在可行集 U i , i = 1 , 2 U i , i = 1 , 2 U_(i),i=1,2U_{i}, i=1,2 中；唯一的显式约束 Θ Θ Theta\Theta 是表示重复变量一致性的等式，具有两级 APP 方法对显式等式约束问题所要求的简单形式（参考文献 1-2）。

在将可行性约束集划分为 n n nn 子集的一般情况下，问题 (5) 可以用以下形式表示
min u i ∈ U i i = 1 , … , n J ( u 1 , … , u n ) , s.t. Θ i j ( u i , u j ) = 0 , i , j = 1 , … , n and j > i . min u i ∈ U i i = 1 , … , n   J u 1 , … , u n ,  s.t.  Θ i j u i , u j = 0 , i , j = 1 , … , n  and  j > i . {:[min_({:[u_(i)inU_(i)],[i=1","dots","n]:}),J(u_(1),dots,u_(n))","],[" s.t. ",Theta_(ij)(u_(i),u_(j))=0","quad i","j=1","dots","n" and "j > i.]:}\begin{array}{cl} \min _{\substack{u_{i} \in U_{i} \\ i=1, \ldots, n}} & J\left(u_{1}, \ldots, u_{n}\right), \\ \text { s.t. } & \Theta_{i j}\left(u_{i}, u_{j}\right)=0, \quad i, j=1, \ldots, n \text { and } j>i . \end{array}

2.2.辅助问题原理（APP）。在 APP 中，考虑的是具有弱凸目标函数的问题 (7)，并使用了增量拉格朗日法（参考文献 2）。将增量拉格朗日中任何不可分割的项线性化，从而得到一个近似值，该近似值对变量空间的任何分解都是可加的；添加严格凸项，得到辅助问题，其解可与原始问题的解相一致。有关 APP 的更多详情，请读者参阅参考文献 12。

根据 APP，问题（7）可以用以下两级迭代方案求解 [ ⟨ ⋅ , ⋅ ⟩ [ ⟨ ⋅ , ⋅ ⟩ [(:*,*:)[\langle\cdot, \cdot\rangle 代表标量积]：
min u i ∈ U i i = 1 , … , n { K ( u 1 , … , u n ) + ∑ i = 1 n ⟨ ϵ J u i ′ ( u 1 k , … , u n k ) − K u i ′ ( u 1 k , … , u n k ) , u i ⟩ + ϵ ∑ i = 1 n ∑ j = i + 1 n ⟨ p i j k + c Θ i j ( u i k , u j k ) , Θ i j ( u i , u j ) ⟩ } ⇒ u 1 k + 1 , … , u n k + 1 , p i j k + 1 = p i j k + ρ Θ i j ( u i k + 1 , u j k + 1 ) , i , j = 1 , … , n and j > i . min u i ∈ U i i = 1 , … , n   K u 1 , … , u n + ∑ i = 1 n   ϵ J u i ′ u 1 k , … , u n k − K u i ′ u 1 k , … , u n k , u i + ϵ ∑ i = 1 n   ∑ j = i + 1 n   p i j k + c Θ i j u i k , u j k , Θ i j u i , u j ⇒ u 1 k + 1 , … , u n k + 1 , p i j k + 1 = p i j k + ρ Θ i j u i k + 1 , u j k + 1 , i , j = 1 , … , n  and  j > i . {:[min_({:[u_(i)inU_(i)],[i=1","dots","n]:}){[K(u_(1),dots,u_(n))+sum_(i=1)^(n)(:epsilonJ_(u_(i))^(')(u_(1)^(k),dots,u_(n)^(k))-K_(u_(i))^(')(u_(1)^(k),dots,u_(n)^(k)),u_(i):)],[+epsilonsum_(i=1)^(n)sum_(j=i+1)^(n)(:p_(ij)^(k)+cTheta_(ij)(u_(i)^(k),u_(j)^(k)),Theta_(ij)(u_(i),u_(j)):)]}],[=>u_(1)^(k+1)","dots","u_(n)^(k+1)","],[p_(ij)^(k+1)=p_(ij)^(k)+rhoTheta_(ij)(u_(i)^(k+1),u_(j)^(k+1))","quad i","j=1","dots","n" and "j > i.]:}\begin{aligned} & \min _{\substack{u_{i} \in U_{i} \\ i=1, \ldots, n}}\left\{\begin{array}{l} K\left(u_{1}, \ldots, u_{n}\right)+\sum_{i=1}^{n}\left\langle\epsilon J_{u_{i}}^{\prime}\left(u_{1}^{k}, \ldots, u_{n}^{k}\right)-K_{u_{i}}^{\prime}\left(u_{1}^{k}, \ldots, u_{n}^{k}\right), u_{i}\right\rangle \\ +\epsilon \sum_{i=1}^{n} \sum_{j=i+1}^{n}\left\langle p_{i j}^{k}+c \Theta_{i j}\left(u_{i}^{k}, u_{j}^{k}\right), \Theta_{i j}\left(u_{i}, u_{j}\right)\right\rangle \end{array}\right\} \\ & \Rightarrow u_{1}^{k+1}, \ldots, u_{n}^{k+1}, \\ & p_{i j}^{k+1}=p_{i j}^{k}+\rho \Theta_{i j}\left(u_{i}^{k+1}, u_{j}^{k+1}\right), \quad i, j=1, \ldots, n \text { and } j>i . \end{aligned}

这里，函数 K ( u 1 , … , u n ) K u 1 , … , u n K(u_(1),dots,u_(n))K\left(u_{1}, \ldots, u_{n}\right) 是所谓的核心函数， k k kk 是迭代计数器， p i j p i j p_(ij)p_{i j} 是与重复变量的一致性约束 Θ i j Θ i j Theta_(ij)\Theta_{i j} 相关联的拉格朗日乘数向量。在第 k k kk 次迭代中，第一层（辅助）问题 (8a) 得到解决：注意，它没有明确的约束条件；由此得到的变量值用于第二层问题 ( 8 b )，在此得到拉格朗日乘数 p i j p i j p_(ij)p_{i j} 的新值。

迭代方案 (8) 的（全局）收敛性在以下条件下得到保证（参考文献 2）：

U i , i = 1 , … , n U i , i = 1 , … , n U_(i),i=1,dots,nU_{i}, i=1, \ldots, n ，都是封闭的凸集；

J J JJ 是凸的，其导数是具有常数 A A AA 的 Lipschitz；

Θ Θ Theta\Theta 是仿射的，具有常数 τ τ tau\tau 的 Lipschitz；

K K KK 为强凸函数， b b bb 为常数，且具有 Lipschitz 导数；
   0 < ρ < 2 c 0 < ρ < 2 c 0 < rho < 2c0<\rho<2 c ；
0 < ϵ < b / ( A + c τ 2 ) 0 < ϵ < b / A + c τ 2 0 < epsilon < b//(A+ctau^(2))0<\epsilon<b /\left(A+c \tau^{2}\right).

在实际的非凸情况下，迭代方案仍然可以使用，因为在极限情况下，如果收敛结果出现，就满足了必要的最优条件（参考文献 1-2）。

选择与 ( u 1 , … , u n ) u 1 , … , u n (u_(1),dots,u_(n))\left(u_{1}, \ldots, u_{n}\right) 有关的核心函数、
K ( u 1 , … , u n ) = ∑ i = 1 n K i ( u i ) , K u 1 , … , u n = ∑ i = 1 n   K i u i , K(u_(1),dots,u_(n))=sum_(i=1)^(n)K_(i)(u_(i)),K\left(u_{1}, \ldots, u_{n}\right)=\sum_{i=1}^{n} K_{i}\left(u_{i}\right),

回顾 Θ Θ Theta\Theta 的形式 (3f)，在第 k k kk 次迭代中，第一层问题 (8a) 可以拆分为 n n nn 个子问题，这些子问题可以并行求解；事实上， (8) 可以写为
min u i ∈ U i { K i ( u i ) + ⟨ ϵ J u i ′ ( u 1 k , … , u n k ) − K u i ′ ( u i k ) , u i ⟩ + ϵ ∑ j = i + 1 n ⟨ p i j k + c ( y i j k − y j i k ) , y i j ⟩ + ϵ ∑ j = 1 i − 1 ⟨ p j i k + c ( y j i k − y i j k ) , − y i j ⟩ } ⇒ u i k + 1 , i = 1 , … , n min u i ∈ U i   K i u i + ϵ J u i ′ u 1 k , … , u n k − K u i ′ u i k , u i + ϵ ∑ j = i + 1 n   p i j k + c y i j k − y j i k , y i j + ϵ ∑ j = 1 i − 1   p j i k + c y j i k − y i j k , − y i j ⇒ u i k + 1 , i = 1 , … , n min_(u_(i)inU_(i)){[K_(i)(u_(i))+(:epsilonJ_(u_(i))^(')(u_(1)^(k),dots,u_(n)^(k))-K_(u_(i))^(')(u_(i)^(k)),u_(i):)],[+epsilonsum_(j=i+1)^(n)(:p_(ij)^(k)+c(y_(ij)^(k)-y_(ji)^(k)),y_(ij):)],[+epsilonsum_(j=1)^(i-1)(:p_(ji)^(k)+c(y_(ji)^(k)-y_(ij)^(k)),-y_(ij):)]}=>u_(i)^(k+1),quad i=1,dots,n\min _{u_{i} \in U_{i}}\left\{\begin{array}{l}K_{i}\left(u_{i}\right)+\left\langle\epsilon J_{u_{i}}^{\prime}\left(u_{1}^{k}, \ldots, u_{n}^{k}\right)-K_{u_{i}}^{\prime}\left(u_{i}^{k}\right), u_{i}\right\rangle \\ +\epsilon \sum_{j=i+1}^{n}\left\langle p_{i j}^{k}+c\left(y_{i j}^{k}-y_{j i}^{k}\right), y_{i j}\right\rangle \\ +\epsilon \sum_{j=1}^{i-1}\left\langle p_{j i}^{k}+c\left(y_{j i}^{k}-y_{i j}^{k}\right),-y_{i j}\right\rangle\end{array}\right\} \Rightarrow u_{i}^{k+1}, \quad i=1, \ldots, n,

p i j k + 1 = p i j k + ρ ( y i j k + 1 − y j i k + 1 ) , i , j = 1 , … , n p i j k + 1 = p i j k + ρ y i j k + 1 − y j i k + 1 , i , j = 1 , … , n p_(ij)^(k+1)=p_(ij)^(k)+rho(y_(ij)^(k+1)-y_(ji)^(k+1)),quad i,j=1,dots,np_{i j}^{k+1}=p_{i j}^{k}+\rho\left(y_{i j}^{k+1}-y_{j i}^{k+1}\right), \quad i, j=1, \ldots, n 和 j > i j > i j > ij>i 、

其中变量 y i j y i j y_(ij)y_{i j} 具有上述含义 [见 (3)]。

  3.<变量


在许多应用中（例如，将经过时间作为变量的问题，电力系统中的问题，如最优功率流问题和状态估计问题），都存在变量（让我们

称为 Δ Δ Delta\Delta 变量），它们总是以差分形式出现。为了使优化问题 (1) 的表达式保持一致，必须赋予 Δ Δ Delta\Delta 变量中的一个变量一个常值；通常将其设置为零，这就使得所选的 Δ Δ Delta\Delta 变量成为其他变量的参考。

举个例子可能有助于理解这个问题。电网中的可行性约束条件是以节点电压、线路电流和注入节点的功率来描述的：
P h − V h ∑ N V k Y h k cos ⁡ ( δ h − δ k − Φ h k ) = 0 Q h − V h ∑ N V k Y h k sin ⁡ ( δ h − δ k − Φ h k ) = 0 I t M − V h 2 + V k 2 − 2 V h V k cos ⁡ ( δ h − δ k ) / z t ≥ 0 . P h − V h ∑ N   V k Y h k cos ⁡ δ h − δ k − Φ h k = 0 Q h − V h ∑ N   V k Y h k sin ⁡ δ h − δ k − Φ h k = 0 I t M − V h 2 + V k 2 − 2 V h V k cos ⁡ δ h − δ k / z t ≥ 0 . {:[P_(h)-V_(h)sum_(N)V_(k)Y_(hk)cos(delta_(h)-delta_(k)-Phi_(hk))=0],[Q_(h)-V_(h)sum_(N)V_(k)Y_(hk)sin(delta_(h)-delta_(k)-Phi_(hk))=0],[I_(t)^(M)-sqrt(V_(h)^(2)+V_(k)^(2)-2V_(h)V_(k)cos(delta_(h)-delta_(k)))//z_(t) >= 0.]:}\begin{aligned} & P_{h}-V_{h} \sum_{N} V_{k} Y_{h k} \cos \left(\delta_{h}-\delta_{k}-\Phi_{h k}\right)=0 \\ & Q_{h}-V_{h} \sum_{N} V_{k} Y_{h k} \sin \left(\delta_{h}-\delta_{k}-\Phi_{h k}\right)=0 \\ & I_{t}^{M}-\sqrt{V_{h}^{2}+V_{k}^{2}-2 V_{h} V_{k} \cos \left(\delta_{h}-\delta_{k}\right)} / z_{t} \geq 0 . \end{aligned}

在 (11) 中， V h V h V_(h)V_{h} 是第 h h hh 个节点的电压幅值， δ h δ h delta_(h)\delta_{h} 是其相位； P h P h P_(h)P_{h} 和 Q h Q h Q_(h)Q_{h} 分别是注入第 h h hh 个节点的有功功率和无功功率； I t M I t M I_(t)^(M)I_{t}^{M} 是沿第 t t tt 条线路（连接第 h h hh 个节点和第 k k kk 个节点）可流过的电流的最大值；常数矩阵 Y , Φ Y , Φ Y,PhiY, \Phi 和矢量 z z zz 取决于线路的物理特性，而 N N NN 是网络节点数。电压相位 δ δ delta\delta 始终作为差值出现； δ δ delta\delta 的一个分量被赋予恒定值 0，相应的节点电压成为所有电压的相位参考。

3.1. Δ Δ Delta\Delta 变量的重复。要应用迭代方案 (10)，每个子问题 (10a) 必须完全由其自身的可行性约束集 U i U i U_(i)U_{i} 来定义。这意味着，在每个子问题中， Δ Δ Delta\Delta 变量必须被赋予一个该子问题的局部参考值；反过来，每个子问题的局部参考值必须与全局参考值保持一致（参考文献 3）。

一旦某些 Δ Δ Delta\Delta 变量被重复，相应的一致性约束条件就会被写成以下形式
Δ i r = Δ j s , Δ i r = Δ j s , Delta_(i)^(r)=Delta_(j)^(s),\Delta_{i}^{r}=\Delta_{j}^{s},

这表明第 i i ii 个子问题的第 r r rr 个 Δ Δ Delta\Delta 变量和第 j j jj 个子问题的第 s s ss 个 Δ Δ Delta\Delta 变量由于重复而耦合。在 (12) 中， Δ Δ Delta\Delta 变量是相对于全局参考值表示的。

让符号 Δ ~ i Δ ~ i tilde(Delta)_(i)\tilde{\Delta}_{i} 表示第 i i ii 个子问题的 Δ Δ Delta\Delta 变量相对于局部参考的值；让 ω i ω i omega_(i)\omega_{i} 表示第 i i ii 个局部参考相对于全局参考的值；我们有（参考文献 3）：
Δ ~ i = Δ i − v ω i Δ ~ i = Δ i − v ω i tilde(Delta)_(i)=Delta_(i)-vomega_(i)\tilde{\Delta}_{i}=\Delta_{i}-v \omega_{i}

其中 v v vv 是一个适当维度的单元向量。利用 (13)，一致性约束条件 (12) 可以写成
Δ ~ i r + ω i = Δ ~ j s + ω j . Δ ~ i r + ω i = Δ ~ j s + ω j . tilde(Delta)_(i)^(r)+omega_(i)= tilde(Delta)_(j)^(s)+omega_(j).\tilde{\Delta}_{i}^{r}+\omega_{i}=\tilde{\Delta}_{j}^{s}+\omega_{j} .

让我们用局部 Δ Δ Delta\Delta 变量来编写子问题，并假设第 n 个子问题是 Δ Δ Delta\Delta 变量的局部参照与全局参照重合的问题；问题 (7) 可以用以下形式表示
min u i ∈ U i , ω i ∈ K i = 1 , … , n , i = 1 , … , n − 1 J ( u 1 , … , u n ) , s.t. Θ i j ( u i , ω i , u j , ω j ) = 0 , i , j = 1 , … , n and j > i , min u i ∈ U i , ω i ∈ K i = 1 , … , n , i = 1 , … , n − 1   J u 1 , … , u n ,  s.t.  Θ i j u i , ω i , u j , ω j = 0 , i , j = 1 , … , n  and  j > i , {:[min_({:[u_(i)inU_(i)","omega_(i)inK],[i=1","dots","n","i=1","dots","n-1]:}),J(u_(1),dots,u_(n))","],[" s.t. ",Theta_(ij)(u_(i),omega_(i),u_(j),omega_(j))=0","quad i","j=1","dots","n" and "j > i","]:}\begin{array}{cl} \min _{\substack{u_{i} \in U_{i}, \omega_{i} \in \mathfrak{K} \\ i=1, \ldots, n, i=1, \ldots, n-1}} & J\left(u_{1}, \ldots, u_{n}\right), \\ \text { s.t. } & \Theta_{i j}\left(u_{i}, \omega_{i}, u_{j}, \omega_{j}\right)=0, \quad i, j=1, \ldots, n \text { and } j>i, \end{array}

其中 ω n ω n omega_(n)\omega_{n} 是一个等于零的常数，在 u i u i u_(i)u_{i} 中， Δ Δ Delta\Delta 变量是 i i ii 子问题的局部变量。

请注意，在用本地变量 Δ Δ Delta\Delta ( Δ ~ i ) Δ ~ i ( tilde(Delta)_(i))\left(\tilde{\Delta}_{i}\right) 表示所有子问题 ( U i , i = 1 , … , n ) U i , i = 1 , … , n (U_(i),i=1,dots,n)\left(U_{i}, i=1, \ldots, n\right) 的可行性约束时，变量 ω ω omega\omega 只出现在耦合约束 Θ Θ Theta\Theta 中；它们既不出现在目标函数中，也不出现在可行性集合中，这些集合的定义与变量 ω ω omega\omega 无关。

例如，考虑电力系统子问题的节点功率注入平衡和线路电流限制 (11)。在 (11) 中，电压相位 δ δ delta\delta 是根据全局参考值进行评估的；根据 (13)，公式 (11) 可改写如下，其中明显不含变量 ω i ω i omega_(i)\omega_{i} ：
P h − V h ∑ N V k Y h k cos ⁡ ( ( δ ~ h + ω i ) − ( δ ~ k + ω i ) − Φ h k ) = P h − V h ∑ N V k Y h k cos ⁡ ( δ ~ h − δ ~ k − Φ h k ) = 0 , Q h − V h ∑ N V k Y h k sin ⁡ ( ( δ ~ h + ω i ) − ( δ ~ k + ω i ) − Φ h k ) = Q h − V h ∑ N V k Y h k sin ⁡ ( δ ~ h − δ ~ k − Φ h k ) = 0 , I t M − V h 2 + V k 2 − 2 V h V k cos ⁡ ( ( δ ~ h + ω i ) − ( δ ~ k + ω i ) ) / z t = I t M − V h 2 + V k 2 − 2 V h V k cos ⁡ ( δ ~ h − δ ~ k ) / z t ≥ 0 . P h − V h ∑ N   V k Y h k cos ⁡ δ ~ h + ω i − δ ~ k + ω i − Φ h k = P h − V h ∑ N   V k Y h k cos ⁡ δ ~ h − δ ~ k − Φ h k = 0 , Q h − V h ∑ N   V k Y h k sin ⁡ δ ~ h + ω i − δ ~ k + ω i − Φ h k = Q h − V h ∑ N   V k Y h k sin ⁡ δ ~ h − δ ~ k − Φ h k = 0 , I t M − V h 2 + V k 2 − 2 V h V k cos ⁡ δ ~ h + ω i − δ ~ k + ω i / z t = I t M − V h 2 + V k 2 − 2 V h V k cos ⁡ δ ~ h − δ ~ k / z t ≥ 0 . {:[P_(h)-V_(h)sum_(N)V_(k)Y_(hk)cos(( tilde(delta)_(h)+omega_(i))-( tilde(delta)_(k)+omega_(i))-Phi_(hk))],[=P_(h)-V_(h)sum_(N)V_(k)Y_(hk)cos( tilde(delta)_(h)- tilde(delta)_(k)-Phi_(hk))=0","],[Q_(h)-V_(h)sum_(N)V_(k)Y_(hk)sin(( tilde(delta)_(h)+omega_(i))-( tilde(delta)_(k)+omega_(i))-Phi_(hk))],[=Q_(h)-V_(h)sum_(N)V_(k)Y_(hk)sin( tilde(delta)_(h)- tilde(delta)_(k)-Phi_(hk))=0","],[I_(t)^(M)-sqrt(V_(h)^(2)+V_(k)^(2)-2V_(h)V_(k)cos(( tilde(delta)_(h)+omega_(i))-( tilde(delta)_(k)+omega_(i))))//z_(t)],[=I_(t)^(M)-sqrt(V_(h)^(2)+V_(k)^(2)-2V_(h)V_(k)cos( tilde(delta)_(h)- tilde(delta)_(k)))//z_(t) >= 0.]:}\begin{aligned} & P_{h}-V_{h} \sum_{N} V_{k} Y_{h k} \cos \left(\left(\tilde{\delta}_{h}+\omega_{i}\right)-\left(\tilde{\delta}_{k}+\omega_{i}\right)-\Phi_{h k}\right) \\ & =P_{h}-V_{h} \sum_{N} V_{k} Y_{h k} \cos \left(\tilde{\delta}_{h}-\tilde{\delta}_{k}-\Phi_{h k}\right)=0, \\ & Q_{h}-V_{h} \sum_{N} V_{k} Y_{h k} \sin \left(\left(\tilde{\delta}_{h}+\omega_{i}\right)-\left(\tilde{\delta}_{k}+\omega_{i}\right)-\Phi_{h k}\right) \\ & =Q_{h}-V_{h} \sum_{N} V_{k} Y_{h k} \sin \left(\tilde{\delta}_{h}-\tilde{\delta}_{k}-\Phi_{h k}\right)=0, \\ & I_{t}^{M}-\sqrt{V_{h}^{2}+V_{k}^{2}-2 V_{h} V_{k} \cos \left(\left(\tilde{\delta}_{h}+\omega_{i}\right)-\left(\tilde{\delta}_{k}+\omega_{i}\right)\right)} / z_{t} \\ & =I_{t}^{M}-\sqrt{V_{h}^{2}+V_{k}^{2}-2 V_{h} V_{k} \cos \left(\tilde{\delta}_{h}-\tilde{\delta}_{k}\right)} / z_{t} \geq 0 . \end{aligned}

3.2.APP 和 Δ Δ Delta\Delta 变量。在本节中，我们将迭代方案 (10) 专门用于问题 (15) 的情况。一般来说，在问题 (15) 中，一些耦合约束表示重复的 Δ Δ Delta\Delta 变量的一致性，另一些约束表示重复的非 Δ Δ Delta\Delta 变量的一致性；为了简洁起见，但不失一般性、

在下文中，我们假定所有耦合约束都表达了重复的 Δ Δ Delta\Delta 变量的一致性，其形式为
Θ ( u i , ω i , u j , ω j ) ≡ ( u i + v ω i ) − ( u j + v ω j ) = 0 Θ u i , ω i , u j , ω j ≡ u i + v ω i − u j + v ω j = 0 Theta(u_(i),omega_(i),u_(j),omega_(j))-=(u_(i)+vomega_(i))-(u_(j)+vomega_(j))=0\Theta\left(u_{i}, \omega_{i}, u_{j}, \omega_{j}\right) \equiv\left(u_{i}+v \omega_{i}\right)-\left(u_{j}+v \omega_{j}\right)=0

假设满足可行性集 U i , i = 1 , … , n U i , i = 1 , … , n U_(i),i=1,dots,nU_{i}, i=1, \ldots, n 和目标函数 J J JJ 的凸性假设；注意约束条件 Θ Θ Theta\Theta 是仿射的（实际上是线性的）。让我们用 APP 求解问题 (15)、(17)，并采用以下核心函数：
K ( u , ω ) = K U ( u ) + K Ω ( ω ) = ∑ i = 1 n K U i ( u i ) + ∑ i = 1 n − 1 K Ω i ( ω i ) , K ( u , ω ) = K U ( u ) + K Ω ( ω ) = ∑ i = 1 n   K U i u i + ∑ i = 1 n − 1   K Ω i ω i , K(u,omega)=K_(U)(u)+K_(Omega)(omega)=sum_(i=1)^(n)K_(U_(i))(u_(i))+sum_(i=1)^(n-1)K_(Omega_(i))(omega_(i)),K(u, \omega)=K_{U}(u)+K_{\Omega}(\omega)=\sum_{i=1}^{n} K_{U_{i}}\left(u_{i}\right)+\sum_{i=1}^{n-1} K_{\Omega_{i}}\left(\omega_{i}\right),
  其中
u = [ u 1 T , u 2 T , … , u n T ] T , ω = [ ω 1 , ω 2 , … , ω n − 1 ] T . u = u 1 T , u 2 T , … , u n T T , ω = ω 1 , ω 2 , … , ω n − 1 T . u=[u_(1)^(T),u_(2)^(T),dots,u_(n)^(T)]^(T),quad omega=[omega_(1),omega_(2),dots,omega_(n-1)]^(T).u=\left[u_{1}^{T}, u_{2}^{T}, \ldots, u_{n}^{T}\right]^{T}, \quad \omega=\left[\omega_{1}, \omega_{2}, \ldots, \omega_{n-1}\right]^{T} .

迭代方案（10）可以用下面的形式表示：
min u i ∈ U i { K U i ( u i ) + ⟨ ϵ J u i ′ ( u 1 k , … , u n k ) − K U i ′ ( u i k ) , u i ⟩ + ϵ ∑ j = i + 1 n ⟨ p i j k + c [ ( y i j k + v ω i k ) − ( y j i k v ω j k ) ] , y i j ⟩ + ϵ ∑ j = 1 i − 1 ⟨ p j i k + c [ ( y j i k + v ω j k ) − ( y i j k + v ω i k ) ] , − y i j ⟩ } ⇒ u i k + 1 , i = 1 , … , n , min ω i ∈ R { K Ω i ( ω i ) − ⟨ K Ω i ′ ( ω i k ) , ω i ⟩ + ϵ ∑ j = i + 1 n ⟨ p i j k + c [ ( y i j k + v ω i k ) − ( y j i k + v ω j k ) ] , v ω i ⟩ + ϵ ∑ j = 1 i − 1 ⟨ p j i k + c [ ( y j i k + v ω j k ) − ( y i j k + v ω i k ) ] , − v ω i ⟩ } ⇒ ω i k + 1 , i = 1 , … , n − 1 , p i j k + 1 = p i j k + ρ [ ( y i j k + 1 + v ω i k + 1 ) − ( y j i k + 1 + v ω j k + 1 ) ] , i , j = 1 , … , n and j > i . min u i ∈ U i   K U i u i + ϵ J u i ′ u 1 k , … , u n k − K U i ′ u i k , u i + ϵ ∑ j = i + 1 n   p i j k + c y i j k + v ω i k − y j i k v ω j k , y i j + ϵ ∑ j = 1 i − 1   p j i k + c y j i k + v ω j k − y i j k + v ω i k , − y i j ⇒ u i k + 1 , i = 1 , … , n , min ω i ∈ R   K Ω i ω i − K Ω i ′ ω i k , ω i + ϵ ∑ j = i + 1 n   p i j k + c y i j k + v ω i k − y j i k + v ω j k , v ω i + ϵ ∑ j = 1 i − 1   p j i k + c y j i k + v ω j k − y i j k + v ω i k , − v ω i ⇒ ω i k + 1 , i = 1 , … , n − 1 ,  p i j k + 1 = p i j k + ρ y i j k + 1 + v ω i k + 1 − y j i k + 1 + v ω j k + 1 ,  i , j = 1 , … , n  and  j > i . {:[min_(u_(i)inU_(i)){[K_(U_(i))(u_(i))+(:epsilonJ_(u_(i))^(')(u_(1)^(k),dots,u_(n)^(k))-K_(U_(i))^(')(u_(i)^(k)),u_(i):)],[+epsilonsum_(j=i+1)^(n)(:p_(ij)^(k)+c[(y_(ij)^(k)+vomega_(i)^(k))-(y_(ji)^(k)vomega_(j)^(k))],y_(ij):)],[+epsilonsum_(j=1)^(i-1)(:p_(ji)^(k)+c[(y_(ji)^(k)+vomega_(j)^(k))-(y_(ij)^(k)+vomega_(i)^(k))],-y_(ij):)]}],[=>u_(i)^(k+1)","quad i=1","dots","n","],[min_(omega_(i)in R){[K_(Omega_(i))(omega_(i))-(:K_(Omega_(i))^(')(omega_(i)^(k)),omega_(i):)],[+epsilonsum_(j=i+1)^(n)(:p_(ij)^(k)+c[(y_(ij)^(k)+vomega_(i)^(k))-(y_(ji)^(k)+vomega_(j)^(k))],vomega_(i):)],[+epsilonsum_(j=1)^(i-1)(:p_(ji)^(k)+c[(y_(ji)^(k)+vomega_(j)^(k))-(y_(ij)^(k)+vomega_(i)^(k))],-vomega_(i):)]}],[=>omega_(i)^(k+1)","quad i=1","dots","n-1", "],[p_(ij)^(k+1)=p_(ij)^(k)+rho[(y_(ij)^(k+1)+vomega_(i)^(k+1))-(y_(ji)^(k+1)+vomega_(j)^(k+1))]", "],[i","j=1","dots","n" and "j > i.]:}\begin{aligned} & \min _{u_{i} \in U_{i}}\left\{\begin{array}{l} K_{U_{i}}\left(u_{i}\right)+\left\langle\epsilon J_{u_{i}}^{\prime}\left(u_{1}^{k}, \ldots, u_{n}^{k}\right)-K_{U_{i}}^{\prime}\left(u_{i}^{k}\right), u_{i}\right\rangle \\ +\epsilon \sum_{j=i+1}^{n}\left\langle p_{i j}^{k}+c\left[\left(y_{i j}^{k}+v \omega_{i}^{k}\right)-\left(y_{j i}^{k} v \omega_{j}^{k}\right)\right], y_{i j}\right\rangle \\ +\epsilon \sum_{j=1}^{i-1}\left\langle p_{j i}^{k}+c\left[\left(y_{j i}^{k}+v \omega_{j}^{k}\right)-\left(y_{i j}^{k}+v \omega_{i}^{k}\right)\right],-y_{i j}\right\rangle \end{array}\right\} \\ & \Rightarrow u_{i}^{k+1}, \quad i=1, \ldots, n, \\ & \min _{\omega_{i} \in R}\left\{\begin{array}{l} K_{\Omega_{i}}\left(\omega_{i}\right)-\left\langle K_{\Omega_{i}}^{\prime}\left(\omega_{i}^{k}\right), \omega_{i}\right\rangle \\ +\epsilon \sum_{j=i+1}^{n}\left\langle p_{i j}^{k}+c\left[\left(y_{i j}^{k}+v \omega_{i}^{k}\right)-\left(y_{j i}^{k}+v \omega_{j}^{k}\right)\right], v \omega_{i}\right\rangle \\ +\epsilon \sum_{j=1}^{i-1}\left\langle p_{j i}^{k}+c\left[\left(y_{j i}^{k}+v \omega_{j}^{k}\right)-\left(y_{i j}^{k}+v \omega_{i}^{k}\right)\right],-v \omega_{i}\right\rangle \end{array}\right\} \\ & \Rightarrow \omega_{i}^{k+1}, \quad i=1, \ldots, n-1 \text {, } \\ & p_{i j}^{k+1}=p_{i j}^{k}+\rho\left[\left(y_{i j}^{k+1}+v \omega_{i}^{k+1}\right)-\left(y_{j i}^{k+1}+v \omega_{j}^{k+1}\right)\right] \text {, } \\ & i, j=1, \ldots, n \text { and } j>i . \end{aligned}

同样， ω n ω n omega_(n)\omega_{n} 等于零。

公式（20）有许多相关特点。首先，每个子问题 (20a) 的可行性集都是用局部变量表示的[例如，见 (16)]；这有助于制定子问题，避免了处理局部和全局参考的复杂性。其次，在迭代算法的第 k k kk 步，子问题 (20a) 和 (20b) 被独立求解；

只要目标函数发生变化，现有的不进行任何拆分的优化问题求解软件就可以用来求解任何子问题。第三，在适当选择函数 K Ω i ( ω i ) K Ω i ω i K_(Omega_(i))(omega_(i))K_{\Omega_{i}}\left(\omega_{i}\right) 的情况下，问题 (20b) 的解具有封闭形式；例如，如果
K Ω ( ω ) = ( 1 / 2 ) ∑ i = 1 n − 1 σ i ω i 2 K Ω ( ω ) = ( 1 / 2 ) ∑ i = 1 n − 1   σ i ω i 2 K_(Omega)(omega)=(1//2)sum_(i=1)^(n-1)sigma_(i)omega_(i)^(2)K_{\Omega}(\omega)=(1 / 2) \sum_{i=1}^{n-1} \sigma_{i} \omega_{i}^{2}
  我们有
ω i k + 1 = ω i k − ( ϵ / σ i ) [ ∑ j = i + 1 n { p i j k + c [ ( y i j k + v ω i k ) − ( y j i k + v ω j k ) ] } − ∑ j = 1 i − 1 { p j i k + c [ ( y j i k + v ω j k ) − ( y i j k + v ω i k ) ] } ] , ω i k + 1 = ω i k − ϵ / σ i ∑ j = i + 1 n   p i j k + c y i j k + v ω i k − y j i k + v ω j k − ∑ j = 1 i − 1   p j i k + c y j i k + v ω j k − y i j k + v ω i k , omega_(i)^(k+1)=omega_(i)^(k)-(epsilon//sigma_(i))[[sum_(j=i+1)^(n){p_(ij)^(k)+c[(y_(ij)^(k)+vomega_(i)^(k))-(y_(ji)^(k)+vomega_(j)^(k))]}],[-sum_(j=1)^(i-1){p_(ji)^(k)+c[(y_(ji)^(k)+vomega_(j)^(k))-(y_(ij)^(k)+vomega_(i)^(k))]}]],\omega_{i}^{k+1}=\omega_{i}^{k}-\left(\epsilon / \sigma_{i}\right)\left[\begin{array}{r} \sum_{j=i+1}^{n}\left\{p_{i j}^{k}+c\left[\left(y_{i j}^{k}+v \omega_{i}^{k}\right)-\left(y_{j i}^{k}+v \omega_{j}^{k}\right)\right]\right\} \\ -\sum_{j=1}^{i-1}\left\{p_{j i}^{k}+c\left[\left(y_{j i}^{k}+v \omega_{j}^{k}\right)-\left(y_{i j}^{k}+v \omega_{i}^{k}\right)\right]\right\} \end{array}\right],

关于包含变量 ω ω omega\omega 的 APP 收敛的充分条件的证明，见附录（第 6 节）。在附录中，考虑了重复变量 Δ Δ Delta\Delta 和非变量 Δ Δ Delta\Delta 的一致性约束的一般情况；证明了方案 (20) 收敛到问题 (15), (17) 的鞍点的条件如下（见第 2.2 节）：

U i , i = 1 , … , n U i , i = 1 , … , n U_(i),i=1,dots,nU_{i}, i=1, \ldots, n ，都是封闭的凸集；

J J JJ 是凸的，其导数是具有常数 A A AA 的 Lipschitz；

Θ Θ Theta\Theta 是仿射的，立普齐兹常数 τ u τ u tau_(u)\tau_{u} 和 τ ω τ ω tau_(omega)\tau_{\omega} 分别与变量 u u uu 和变量 ω ω omega\omega 有关；

K U ( u ) K U ( u ) K_(U)(u)K_{U}(u) 是强凸，具有常数 β β beta\beta 和 Lipschitz 导数；

K Ω ( ω ) K Ω ( ω ) K_(Omega)(omega)K_{\Omega}(\omega) 是强凸，具有常数 γ γ gamma\gamma 和 Lipschitz 导数；
   0 < ρ < 2 c 0 < ρ < 2 c 0 < rho < 2c0<\rho<2 c ；
0 < ϵ < β / ( A + c τ u 2 ) ; 0 < ϵ < β / A + c τ u 2 ; 0 < epsilon < beta//(A+ctau_(u)^(2));0<\epsilon<\beta /\left(A+c \tau_{u}^{2}\right) ;
0 < ϵ < γ / c τ ω 2 0 < ϵ < γ / c τ ω 2 0 < epsilon < gamma//ctau_(omega)^(2)0<\epsilon<\gamma / c \tau_{\omega}^{2}.

值得注意的是，如果不对变量 ω ω omega\omega 进行特殊考虑，收敛条件将是第 2.2 节中所报告的条件；在这些条件中， b b bb 将是 (18) 中 K ( u , ω ) K ( u , ω ) K(u,omega)K(u, \omega) 的严格凸常数，即 K ( u , ω ) K ( u , ω ) K(u,omega)K(u, \omega) 的严格凸常数、
b = min { β , γ } b = min { β , γ } b=min{beta,gamma}b=\min \{\beta, \gamma\}

而约束条件 Θ Θ Theta\Theta 的利普希兹常数 τ τ tau\tau 将是
τ = max { τ u , τ ω } . τ = max τ u , τ ω . tau=max{tau_(u),tau_(omega)}.\tau=\max \left\{\tau_{u}, \tau_{\omega}\right\} .

显然，如果 (23) 和 (24) 成立，第 2.2 节中的收敛条件将比上面给出的条件更加严格。

  4.研究案例


我们研究了实际规模网络--118 总线 IEEE 测试系统（参考文献 5）--的最优功率流 (OPF, 参考文献 4) 解决方案。虽然只考虑了基本情况下的安全受限 OPF，但优化问题是一个大规模问题。考虑将系统分成两个和三个子系统，从而将优化问题分成两个和三个子问题； Δ Δ Delta\Delta 变量的建模需要分别引入一个和两个变量 ω ω omega\omega 。表 1 显示了所分析案例中基本问题和子问题的特征。目标函数 J J JJ 反映了发电成本，并且是凸函数；可行性约束条件与 (11) 相同，此外还有其他不涉及相位角的不等式。

为了验证第 3 节的理论结果，我们使用基于 APP 并命名为 DistOpt 的软件工具（参考文献 6）解决了几个 OPF 案例。该工具已编写了专门的 OPF 模块（参考文献 3），可用于在分布式环境中轻松建模和评估优化问题的解决方案；经过适当修改后，该工具可根据方案 (20) 处理 Δ Δ Delta\Delta 变量。

我们采用不同的迭代方案参数值进行了数值实验；所有实验都采用了以下核心函数[见 (18)]：
K ( u , ω ) = ( β / 2 ) ‖ u ‖ 2 + ( γ / 2 ) ‖ ω ‖ 2 . K ( u , ω ) = ( β / 2 ) ‖ u ‖ 2 + ( γ / 2 ) ‖ ω ‖ 2 . K(u,omega)=(beta//2)||u||^(2)+(gamma//2)||omega||^(2).K(u, \omega)=(\beta / 2)\|u\|^{2}+(\gamma / 2)\|\omega\|^{2} .

表 2 列出了常数 A A AA 和 τ 2 τ 2 tau^(2)\tau^{2} （在我们的问题中为 τ u = τ ω τ u = τ ω tau_(u)=tau_(omega)\tau_{u}=\tau_{\omega} ）的值，以及数值实验中采用的迭代方案的参数值。请注意，在案例 1 和 4 中，所有参数的取值都在第 3.2 节中确定的范围内。在案例 2 和 5 中，参数 ϵ ϵ epsilon\epsilon 超出了其中一个界限，而参数 ρ ρ rho\rho 的取值较低。在案例 3 和 6 中，参数 β β beta\beta 和 γ γ gamma\gamma 被赋予相同的值，就像没有特殊考虑时一样。

表 1.OPF 问题和子问题的主要特征。
  变量   平等限制
功能不等式约束		   框内限制   变量 ω ω omega\omega   一致性限制
  基本情况 303 236 200 186 0 0
  分为 2 个子系统 129/197 98/146 71/129 72/114 1 16
  分为 3 个子系统 129/78/130 98/54/96 71/50/79 72/38/76 2 24
Variables Equality constraints Functional inequality constraints Box constraints Variables omega Consistency constraints Base case 303 236 200 186 0 0 Split into 2 subsystems 129/197 98/146 71/129 72/114 1 16 Split into 3 subsystems 129/78/130 98/54/96 71/50/79 72/38/76 2 24| | Variables | Equality constraints | Functional inequality constraints | Box constraints | Variables $\omega$ | Consistency constraints | | :---: | :---: | :---: | :---: | :---: | :---: | :---: | | Base case | 303 | 236 | 200 | 186 | 0 | 0 | | Split into 2 subsystems | 129/197 | 98/146 | 71/129 | 72/114 | 1 | 16 | | Split into 3 subsystems | 129/78/130 | 98/54/96 | 71/50/79 | 72/38/76 | 2 | 24 |

表 2.问题常数和修改后的 APP 迭代方案参数。

No. subsystems
No. of subsystems| No. of | | :--- | | subsystems |
 τ 2 τ 2 tau^(2)\tau^{2}   案例 c c cc ρ ρ rho\rho β β beta\beta ϵ ϵ epsilon\epsilon γ γ gamma\gamma
A A AA 10 # 1 # 1 #1\# 1 1.00 1.90 1.00 0.080 0.83   图 1-3
1.641 2 10 # 2 # 2 #2\# 2 1.00 0.18 1.00 0.830 8.31
1.641 2 10 # 3 # 3 #3\# 3 1.00 0.18 1.00 0.830 1.00
  图 1-3
1.641 2 9.732 # 4 # 4 #4\# 4 1.00 1.90 1.00 0.083 0.83
1.641 3   图 4-7
1.641 3 9.732 # 5 # 5 #5\# 5 1.00 0.18 1.00 0.830 8.30
  图 4-7
1.641 3 9.732 # 6 # 6 #6\# 6 1.00 0.18 1.00 0.830 1.00
"No. of subsystems" tau^(2) Case c rho beta epsilon gamma A 10 #1 1.00 1.90 1.00 0.080 0.83 Figs. 1-3 1.641 2 10 #2 1.00 0.18 1.00 0.830 8.31 1.641 2 10 #3 1.00 0.18 1.00 0.830 1.00 Figs. 1-3 1.641 2 9.732 #4 1.00 1.90 1.00 0.083 0.83 1.641 3 Figs. 4-7 1.641 3 9.732 #5 1.00 0.18 1.00 0.830 8.30 Figs. 4-7 1.641 3 9.732 #6 1.00 0.18 1.00 0.830 1.00| | No. of <br> subsystems | $\tau^{2}$ | Case | $c$ | $\rho$ | $\beta$ | $\epsilon$ | $\gamma$ | | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | :--- | | $A$ | 10 | $\# 1$ | 1.00 | 1.90 | 1.00 | 0.080 | 0.83 | Figs. 1-3 | | 1.641 | 2 | 10 | $\# 2$ | 1.00 | 0.18 | 1.00 | 0.830 | 8.31 | | 1.641 | 2 | 10 | $\# 3$ | 1.00 | 0.18 | 1.00 | 0.830 | 1.00 | | Figs. 1-3 | | | | | | | | | | 1.641 | 2 | 9.732 | $\# 4$ | 1.00 | 1.90 | 1.00 | 0.083 | 0.83 | | 1.641 | 3 | Figs. 4-7 | | | | | | | | 1.641 | 3 | 9.732 | $\# 5$ | 1.00 | 0.18 | 1.00 | 0.830 | 8.30 | | Figs. 4-7 | | | | | | | | | | 1.641 | 3 | 9.732 | $\# 6$ | 1.00 | 0.18 | 1.00 | 0.830 | 1.00 |

变量 ω ω omega\omega 的值，而参数 ϵ ϵ epsilon\epsilon 和 ρ ρ rho\rho 的值与案例 2 和 5 相同。在所有情况下，都使用了适当的起点，这在 OPF 研究中是很常见的。

要详细显示所有结果，实际上是不可能的。量 E E EE ，即重复变量值之间的最大差异、
E = max i | Θ i | E = max i   Θ i E=max_(i)|Theta_(i)|E=\max _{i}\left|\Theta_{i}\right|

作为收敛指标。在图 1 中，报告了案例 1 和案例 2 中数量 E E EE 与迭代计数器的关系图；在相同案例中，图 2 显示了目标函数 J J JJ ，图 3 显示了变量 ω 1 ω 1 omega_(1)\omega_{1} 。对于案例 4 和 5，图 4 显示了数量 E E EE 、图 5 显示了目标函数 J J JJ 、图 6 显示了变量 ω 1 ω 1 omega_(1)\omega_{1} ，图 7 显示了变量 ω 2 ω 2 omega_(2)\omega_{2} ，所有这些都与迭代计数器有关。

补充实验（未报告）表明，APP 中设定的整套收敛条件虽然充分，但限制性不大，至少对研究案例而言是如此。尽管如此，如果给迭代方案的某些参数设定一个远在界限以内的值，而给另一些参数设定一个超出界限的值，就能获得更好的收敛性能（见案例 2 和 5）。收敛条件的充分性解释了超出边界但仍能收敛的可能性。

总之，我们已经看到，充分收敛条件对迭代方案参数的限制保证了方案的收敛性，在我们处理的非凸例子中也是如此。然而，为了更快地收敛，可以找到更好的值，特别是在修正方案中；这些值的选择是一个连续调整的问题，从满足充分收敛条件的参数值开始。

图 1.两个子问题情况下的最大差异 E E EE 。

图 2.有两个子问题时的目标函数 J J JJ 。

图 3.两个子问题情况下的相位参考位移 ω 1 ω 1 omega_(1)\omega_{1} 。

图 4.三个子问题的最大差异 E E EE 。

图 5.三个子问题情况下的目标函数 J J JJ .

图 6.三个子问题情况下的相位参考位移 ω 1 ω 1 omega_(1)\omega_{1} 。

图 7.三个子问题情况下的相位参考位移 ω 2 ω 2 omega_(2)\omega_{2} 。

  5.结论


与两级方法有关的辅助问题原理的一些结果已专门用于一类特殊的优化问题，即具有特殊变量的问题，这些变量只出现在耦合约束中。

这些发展导致了 APP 迭代方案的一种改进形式，该方案具有一些相关特点，如子问题的表述简便，可使用可用于解 决未分割问题的软件包进行求解。此外，还得出了具体的收敛结果。在一个涉及大规模电力系统优化问题的研究案例中，证明了这一开发方法的实用性。

  6.附录


下面，我们将简要证明具有 Δ Δ Delta\Delta 变量的 APP 两级迭代方案收敛的一些充分条件（参见第 3.2 节）。让我们把问题 (15) 重新表述为

更紧凑的非分解形式、
min u ∈ U , ω ∈ ℜ n − 1 J ( u ) , min u ∈ U , ω ∈ ℜ n − 1   J ( u ) , min_(u in U,omega inℜ^(n-1))J(u),\min _{u \in U, \omega \in \Re^{n-1}} J(u),
   Θ ( u , ω ) = 0 Θ ( u , ω ) = 0 quad Theta(u,omega)=0\quad \Theta(u, \omega)=0 、

其中 J ( u ) J ( u ) J(u)J(u) 是凸的，其加多导数 J ′ ( u ) J ′ ( u ) J^(')(u)J^{\prime}(u) 是具有常数 A A AA 的 Lipschitz。让耦合约束集 Θ Θ Theta\Theta 分成两个子集 Θ α Θ α Theta_(alpha)\Theta_{\alpha} 和 Θ ω Θ ω Theta_(omega)\Theta_{\omega} ，第一个子集代表不属于 Δ Δ Delta\Delta 变量的重复变量 u α u α u_(alpha)u_{\alpha} 的一致性，另一个子集代表重复的 Δ Δ Delta\Delta 变量 u ω u ω u_(omega)u_{\omega} 的一致性、
Θ ( u , ω ) ≡ [ Θ α ( u α ) Θ ω ( u ω , ω ) ] . Θ ( u , ω ) ≡ Θ α u α Θ ω u ω , ω . Theta(u,omega)-=[[Theta_(alpha)(u_(alpha))],[Theta_(omega)(u_(omega),omega)]].\Theta(u, \omega) \equiv\left[\begin{array}{l} \Theta_{\alpha}\left(u_{\alpha}\right) \\ \Theta_{\omega}\left(u_{\omega}, \omega\right) \end{array}\right] .

让 τ α τ α tau_(alpha)\tau_{\alpha} 和 τ ω τ ω tau_(omega)\tau_{\omega} 分别代表 Θ α Θ α Theta_(alpha)\Theta_{\alpha} 和 Θ ω Θ ω Theta_(omega)\Theta_{\omega} 的 Lipschitz 常量、
‖ Θ α ( u α k ) − Θ α ( u α k + 1 ) ‖ 2 ≤ τ α 2 ‖ u α k + 1 − u α k ‖ 2 Θ α u α k − Θ α u α k + 1 2 ≤ τ α 2 u α k + 1 − u α k 2 ||Theta_(alpha)(u_(alpha)^(k))-Theta_(alpha)(u_(alpha)^(k+1))||^(2) <= tau_(alpha)^(2)||u_(alpha)^(k+1)-u_(alpha)^(k)||^(2)\left\|\Theta_{\alpha}\left(u_{\alpha}^{k}\right)-\Theta_{\alpha}\left(u_{\alpha}^{k+1}\right)\right\|^{2} \leq \tau_{\alpha}^{2}\left\|u_{\alpha}^{k+1}-u_{\alpha}^{k}\right\|^{2},
‖ Θ ω ( u ω k , ω k ) − Θ ω ( u ω k + 1 , ω k + 1 ) ‖ 2 ≤ τ ω 2 [ ‖ u ω k + 1 − u ω k ‖ 2 + ‖ ω k + 1 − ω k ‖ 2 ] Θ ω u ω k , ω k − Θ ω u ω k + 1 , ω k + 1 2 ≤ τ ω 2 u ω k + 1 − u ω k 2 + ω k + 1 − ω k 2 ||Theta_(omega)(u_(omega)^(k),omega^(k))-Theta_(omega)(u_(omega)^(k+1),omega^(k+1))||^(2) <= tau_(omega)^(2)[||u_(omega)^(k+1)-u_(omega)^(k)||^(2)+||omega^(k+1)-omega^(k)||^(2)]\left\|\Theta_{\omega}\left(u_{\omega}^{k}, \omega^{k}\right)-\Theta_{\omega}\left(u_{\omega}^{k+1}, \omega^{k+1}\right)\right\|^{2} \leq \tau_{\omega}^{2}\left[\left\|u_{\omega}^{k+1}-u_{\omega}^{k}\right\|^{2}+\left\|\omega^{k+1}-\omega^{k}\right\|^{2}\right].

由于 (29)，下面的不等式成立：
‖ Θ ( u k , ω k ) − Θ ( u k + 1 , ω k + 1 ) ‖ 2 ≤ τ u 2 ‖ u k + 1 − u k ‖ 2 + τ ω 2 ‖ ω k + 1 − ω k ‖ 2 Θ u k , ω k − Θ u k + 1 , ω k + 1 2 ≤ τ u 2 u k + 1 − u k 2 + τ ω 2 ω k + 1 − ω k 2 ||Theta(u^(k),omega^(k))-Theta(u^(k+1),omega^(k+1))||^(2) <= tau_(u)^(2)||u^(k+1)-u^(k)||^(2)+tau_(omega)^(2)||omega^(k+1)-omega^(k)||^(2)\left\|\Theta\left(u^{k}, \omega^{k}\right)-\Theta\left(u^{k+1}, \omega^{k+1}\right)\right\|^{2} \leq \tau_{u}^{2}\left\|u^{k+1}-u^{k}\right\|^{2}+\tau_{\omega}^{2}\left\|\omega^{k+1}-\omega^{k}\right\|^{2}
  其中
τ u = max { τ α , τ ω } τ u = max τ α , τ ω tau_(u)=max{tau_(alpha),tau_(omega)}\tau_{u}=\max \left\{\tau_{\alpha}, \tau_{\omega}\right\}

让我们选择一个加法核心函数
K ( u , ω ) = K U ( u ) + K Ω ( ω ) K ( u , ω ) = K U ( u ) + K Ω ( ω ) K(u,omega)=K_(U)(u)+K_(Omega)(omega)K(u, \omega)=K_{U}(u)+K_{\Omega}(\omega)

这里， K U ( u ) K U ( u ) K_(U)(u)K_{U}(u) 为强凸，常数为 β β beta\beta ，其加多导数 K U ′ ( u ) K U ′ ( u ) K_(U)^(')(u)K_{U}^{\prime}(u) 为 Lipschitz，常数为 B B BB ； K Ω ( ω ) K Ω ( ω ) K_(Omega)(omega)K_{\Omega}(\omega) 为强凸，常数为 γ γ gamma\gamma ，其加多导数 K Ω ′ ( ω ) K Ω ′ ( ω ) K_(Omega)^(')(omega)K_{\Omega}^{\prime}(\omega) 为 Lipschitz，常数为 Γ Γ Gamma\Gamma 。

将 APP 应用于 (27)，得出以下两步算法：
min u ∈ U , ω ∈ K n − 1 { K U ( u ) + ⟨ ϵ J ′ ( u k ) − K U ′ ( u k ) , u ⟩ + K Ω ( ω ) − ⟨ K Ω ′ ( ω k ) , ω ⟩ + ϵ ⟨ p k + c Θ ( u k , ω k ) , Θ ( u , ω ) ⟩ } , p k + 1 = p k + ρ Θ ( u k + 1 , ω k + 1 ) . min u ∈ U , ω ∈ K n − 1   K U ( u ) + ϵ J ′ u k − K U ′ u k , u + K Ω ( ω ) − K Ω ′ ω k , ω + ϵ p k + c Θ u k , ω k , Θ ( u , ω ) , p k + 1 = p k + ρ Θ u k + 1 , ω k + 1 . {:[min_(u in U,omega inK^(n-1)){[K_(U)(u)+(:epsilonJ^(')(u^(k))-K_(U)^(')(u^(k)),u:)],[+K_(Omega)(omega)-(:K_(Omega)^(')(omega^(k)),omega:)],[+epsilon(:p^(k)+c Theta(u^(k),omega^(k)),Theta(u,omega):)]}","],[p^(k+1)=p^(k)+rho Theta(u^(k+1),omega^(k+1)).]:}\begin{aligned} & \min _{u \in U, \omega \in \mathfrak{K}^{n-1}}\left\{\begin{array}{l} K_{U}(u)+\left\langle\epsilon J^{\prime}\left(u^{k}\right)-K_{U}^{\prime}\left(u^{k}\right), u\right\rangle \\ +K_{\Omega}(\omega)-\left\langle K_{\Omega}^{\prime}\left(\omega^{k}\right), \omega\right\rangle \\ +\epsilon\left\langle p^{k}+c \Theta\left(u^{k}, \omega^{k}\right), \Theta(u, \omega)\right\rangle \end{array}\right\}, \\ & p^{k+1}=p^{k}+\rho \Theta\left(u^{k+1}, \omega^{k+1}\right) . \end{aligned}

由于 (33a) 是一个封闭凸集上强凸函数的最小化问题，因此存在一个满足以下变式不等式的唯一解 ( u k + 1 , ω k + 1 ) u k + 1 , ω k + 1 (u^(k+1),omega^(k+1))\left(u^{k+1}, \omega^{k+1}\right) ：
⟨ K U ′ ( u k + 1 ) − K U ′ ( u k ) , u − u k + 1 ⟩ + ⟨ K Ω ′ ( ω k + 1 ) − K Ω ′ ( ω k ) , ω − ω k + 1 ⟩ + ϵ ⟨ J ′ ( u k ) , u − u k + 1 ⟩ + ϵ ⟨ p k + c Θ ( u k , ω k ) , Θ ( u , ω ) − Θ ( u k + 1 , ω k + 1 ) ⟩ ≥ 0 , ∀ u ∈ U and ∀ ω ∈ R n − 1 K U ′ u k + 1 − K U ′ u k , u − u k + 1 + K Ω ′ ω k + 1 − K Ω ′ ω k , ω − ω k + 1 + ϵ J ′ u k , u − u k + 1 + ϵ p k + c Θ u k , ω k , Θ ( u , ω ) − Θ u k + 1 , ω k + 1 ≥ 0 , ∀ u ∈ U  and  ∀ ω ∈ R n − 1 {:[(:K_(U)^(')(u^(k+1))-K_(U)^(')(u^(k)),u-u^(k+1):)+(:K_(Omega)^(')(omega^(k+1))-K_(Omega)^(')(omega^(k)),omega-omega^(k+1):)],[+epsilon(:J^(')(u^(k)),u-u^(k+1):)+epsilon(:p^(k)+c Theta(u^(k),omega^(k)),Theta(u,omega)-Theta(u^(k+1),omega^(k+1)):) >= 0","],[AA u in U" and "AA omega inR^(n-1)]:}\begin{aligned} & \left\langle K_{U}^{\prime}\left(u^{k+1}\right)-K_{U}^{\prime}\left(u^{k}\right), u-u^{k+1}\right\rangle+\left\langle K_{\Omega}^{\prime}\left(\omega^{k+1}\right)-K_{\Omega}^{\prime}\left(\omega^{k}\right), \omega-\omega^{k+1}\right\rangle \\ & +\epsilon\left\langle J^{\prime}\left(u^{k}\right), u-u^{k+1}\right\rangle+\epsilon\left\langle p^{k}+c \Theta\left(u^{k}, \omega^{k}\right), \Theta(u, \omega)-\Theta\left(u^{k+1}, \omega^{k+1}\right)\right\rangle \geq 0, \\ & \forall u \in U \text { and } \forall \omega \in \mathfrak{R}^{n-1} \end{aligned}

( u ∗ , ω ∗ , p ∗ ) u ∗ , ω ∗ , p ∗ (u^(**),omega^(**),p^(**))\left(u^{*}, \omega^{*}, p^{*}\right) 是问题 (27) 的鞍点的一个必要条件和充分条件如下：
J ( u ) − J ( u ∗ ) + ⟨ p ∗ , Θ ( u , ω ) ⟩ ≥ 0 , ∀ u ∈ U and ∀ ω ∈ R n − 1 . J ( u ) − J u ∗ + p ∗ , Θ ( u , ω ) ≥ 0 , ∀ u ∈ U  and  ∀ ω ∈ R n − 1 . J(u)-J(u^(**))+(:p^(**),Theta(u,omega):) >= 0,quad AA u in U" and "AA omega inR^(n-1).J(u)-J\left(u^{*}\right)+\left\langle p^{*}, \Theta(u, \omega)\right\rangle \geq 0, \quad \forall u \in U \text { and } \forall \omega \in \mathfrak{R}^{n-1} .

充分结合 u = u ∗ u = u ∗ u=u^(**)u=u^{*} 和 ω = ω ∗ ω = ω ∗ omega=omega^(**)\omega=\omega^{*} 的 (34) 以及 u = u k + 1 u = u k + 1 u=u^(k+1)u=u^{k+1} 和 ω = ω k + 1 ω = ω k + 1 omega=omega^(k+1)\omega=\omega^{k+1} 的 (35)，再乘以 ϵ ϵ epsilon\epsilon ，即可得到以下不等式：
⟨ K U ′ ( u k + 1 ) − K U ′ ( u k ) , u ∗ − u k + 1 ⟩ + ⟨ K Ω ′ ( ω k + 1 ) − K Ω ′ ( ω k ) , ω ∗ − ω k + 1 ⟩ + ϵ ⟨ J ′ ( u k ) , u ∗ − u k + 1 ⟩ + ϵ J ( u k + 1 ) − ϵ J ( u ∗ ) − ϵ ⟨ p k − p ∗ , Θ ( u k + 1 , ω k + 1 ) ⟩ − ϵ c ⟨ Θ ( u k , ω k ) , Θ ( u k + 1 , ω k + 1 ) ⟩ ≥ 0 K U ′ u k + 1 − K U ′ u k , u ∗ − u k + 1 + K Ω ′ ω k + 1 − K Ω ′ ω k , ω ∗ − ω k + 1 + ϵ J ′ u k , u ∗ − u k + 1 + ϵ J u k + 1 − ϵ J u ∗ − ϵ p k − p ∗ , Θ u k + 1 , ω k + 1 − ϵ c Θ u k , ω k , Θ u k + 1 , ω k + 1 ≥ 0 {:[(:K_(U)^(')(u^(k+1))-K_(U)^(')(u^(k)),u^(**)-u^(k+1):)+(:K_(Omega)^(')(omega^(k+1))-K_(Omega)^(')(omega^(k)),omega^(**)-omega^(k+1):)],[+epsilon(:J^(')(u^(k)),u^(**)-u^(k+1):)+epsilon J(u^(k+1))-epsilon J(u^(**))],[-epsilon(:p^(k)-p^(**),Theta(u^(k+1),omega^(k+1)):)-epsilon c(:Theta(u^(k),omega^(k)),Theta(u^(k+1),omega^(k+1)):) >= 0]:}\begin{aligned} & \left\langle K_{U}^{\prime}\left(u^{k+1}\right)-K_{U}^{\prime}\left(u^{k}\right), u^{*}-u^{k+1}\right\rangle+\left\langle K_{\Omega}^{\prime}\left(\omega^{k+1}\right)-K_{\Omega}^{\prime}\left(\omega^{k}\right), \omega^{*}-\omega^{k+1}\right\rangle \\ & +\epsilon\left\langle J^{\prime}\left(u^{k}\right), u^{*}-u^{k+1}\right\rangle+\epsilon J\left(u^{k+1}\right)-\epsilon J\left(u^{*}\right) \\ & -\epsilon\left\langle p^{k}-p^{*}, \Theta\left(u^{k+1}, \omega^{k+1}\right)\right\rangle-\epsilon c\left\langle\Theta\left(u^{k}, \omega^{k}\right), \Theta\left(u^{k+1}, \omega^{k+1}\right)\right\rangle \geq 0 \end{aligned}

现在，让我们详细研究一下 (36) 中的每个项。

关于 (36) 中的第一项，由于核心函数具有很强的凸性，可以很容易地推导出下面的不等式：
⟨ K U ′ ( u k + 1 ) − K U ′ ( u k ) , u ∗ − u k + 1 ⟩ ≤ ⟨ K U ′ ( u k + 1 ) , u ∗ − u k + 1 ⟩ − ⟨ K U ′ ( u k ) , u ∗ − u k ⟩ + K U ( u k + 1 ) − K U ( u k ) − ( 1 / 2 ) β ‖ u k − u k + 1 ‖ 2 K U ′ u k + 1 − K U ′ u k , u ∗ − u k + 1 ≤ K U ′ u k + 1 , u ∗ − u k + 1 − K U ′ u k , u ∗ − u k + K U u k + 1 − K U u k − ( 1 / 2 ) β u k − u k + 1 2 {:[(:K_(U)^(')(u^(k+1))-K_(U)^(')(u^(k)),u^(**)-u^(k+1):)],[ <= (:K_(U)^(')(u^(k+1)),u^(**)-u^(k+1):)-(:K_(U)^(')(u^(k)),u^(**)-u^(k):)],[+K_(U)(u^(k+1))-K_(U)(u^(k))-(1//2)beta||u^(k)-u^(k+1)||^(2)]:}\begin{aligned} & \left\langle K_{U}^{\prime}\left(u^{k+1}\right)-K_{U}^{\prime}\left(u^{k}\right), u^{*}-u^{k+1}\right\rangle \\ & \leq\left\langle K_{U}^{\prime}\left(u^{k+1}\right), u^{*}-u^{k+1}\right\rangle-\left\langle K_{U}^{\prime}\left(u^{k}\right), u^{*}-u^{k}\right\rangle \\ & +K_{U}\left(u^{k+1}\right)-K_{U}\left(u^{k}\right)-(1 / 2) \beta\left\|u^{k}-u^{k+1}\right\|^{2} \end{aligned}

同样，对于 (36) 中的第二项，可以得出以下不等式：
⟨ K Ω ′ ( ω k + 1 − K Ω ′ ( ω k ) , ω ∗ − ω k + 1 ⟩ ≤ ⟨ K Ω ′ ( ω k + 1 ) , ω ∗ − ω k + 1 ⟩ − ⟨ K Ω ′ ( ω k ) , ω ∗ − ω k ⟩ + K Ω ( ω k + 1 ) − K Ω ( ω k ) − ( 1 / 2 ) γ ‖ ω k − ω k + 1 ‖ 2 K Ω ′ ω k + 1 − K Ω ′ ω k , ω ∗ − ω k + 1 ≤ K Ω ′ ω k + 1 , ω ∗ − ω k + 1 − K Ω ′ ω k , ω ∗ − ω k + K Ω ω k + 1 − K Ω ω k − ( 1 / 2 ) γ ω k − ω k + 1 2 {:[(:K_(Omega)^(')(omega^(k+1)-K_(Omega)^(')(omega^(k)),omega^(**)-omega^(k+1):):}],[ <= ],[(:K_(Omega)^(')(omega^(k+1)),omega^(**)-omega^(k+1):)-(:K_(Omega)^(')(omega^(k)),omega^(**)-omega^(k):)],[quad+K_(Omega)(omega^(k+1))-K_(Omega)(omega^(k))-(1//2)gamma||omega^(k)-omega^(k+1)||^(2)]:}\begin{aligned} & \left\langle K_{\Omega}^{\prime}\left(\omega^{k+1}-K_{\Omega}^{\prime}\left(\omega^{k}\right), \omega^{*}-\omega^{k+1}\right\rangle\right. \\ & \leq \\ & \left\langle K_{\Omega}^{\prime}\left(\omega^{k+1}\right), \omega^{*}-\omega^{k+1}\right\rangle-\left\langle K_{\Omega}^{\prime}\left(\omega^{k}\right), \omega^{*}-\omega^{k}\right\rangle \\ & \quad+K_{\Omega}\left(\omega^{k+1}\right)-K_{\Omega}\left(\omega^{k}\right)-(1 / 2) \gamma\left\|\omega^{k}-\omega^{k+1}\right\|^{2} \end{aligned}

关于 (36) 中的第三、第四和第五项，利用假设的 J J JJ 属性，下面的不等式成立：
ϵ ⟨ J ′ ( u k ) , u ∗ − u k + 1 ⟩ + ϵ J ( u k + 1 ) − ϵ J ( u ∗ ) ≤ ( 1 / 2 ) ( ϵ A ) ‖ u k − u k + 1 ‖ 2 . ϵ J ′ u k , u ∗ − u k + 1 + ϵ J u k + 1 − ϵ J u ∗ ≤ ( 1 / 2 ) ( ϵ A ) u k − u k + 1 2 . {:[epsilon(:J^(')(u^(k)),u^(**)-u^(k+1):)+epsilon J(u^(k+1))-epsilon J(u^(**))],[ <= (1//2)(epsilon A)||u^(k)-u^(k+1)||^(2).]:}\begin{aligned} & \epsilon\left\langle J^{\prime}\left(u^{k}\right), u^{*}-u^{k+1}\right\rangle+\epsilon J\left(u^{k+1}\right)-\epsilon J\left(u^{*}\right) \\ & \leq(1 / 2)(\epsilon A)\left\|u^{k}-u^{k+1}\right\|^{2} . \end{aligned}

利用 (33b)，(36) 中的第六项可写成
− ϵ ⟨ p k − p ∗ , Θ ( u k + 1 , ω k + 1 ) ⟩ = ( 1 / 2 ) ( ϵ / ρ ) ( ‖ p k − p ∗ ‖ 2 − ‖ p k + 1 − p ∗ ‖ 2 ) + ( 1 / 2 ) ϵ ρ ‖ Θ ( u k + 1 , ω k + 1 ) ‖ 2 − ϵ p k − p ∗ , Θ u k + 1 , ω k + 1 = ( 1 / 2 ) ( ϵ / ρ ) p k − p ∗ 2 − p k + 1 − p ∗ 2 + ( 1 / 2 ) ϵ ρ Θ u k + 1 , ω k + 1 2 {:[-epsilon(:p^(k)-p^(**),Theta(u^(k+1),omega^(k+1)):)],[=(1//2)(epsilon//rho)(||p^(k)-p^(**)||^(2)-||p^(k+1)-p^(**)||^(2))+(1//2)epsilon rho||Theta(u^(k+1),omega^(k+1))||^(2)]:}\begin{aligned} & -\epsilon\left\langle p^{k}-p^{*}, \Theta\left(u^{k+1}, \omega^{k+1}\right)\right\rangle \\ & =(1 / 2)(\epsilon / \rho)\left(\left\|p^{k}-p^{*}\right\|^{2}-\left\|p^{k+1}-p^{*}\right\|^{2}\right)+(1 / 2) \epsilon \rho\left\|\Theta\left(u^{k+1}, \omega^{k+1}\right)\right\|^{2} \end{aligned}

关于 (36) 中的最后一项，由于 (30)，下面的不等式成立：
− ϵ c ϵ Θ ( u k , ω k ) , Θ ( u k + 1 , ω k + 1 ) ⟩ ≤ ( 1 / 2 ) ϵ c τ u 2 ‖ u k + 1 − u k ‖ 2 + ( 1 / 2 ) ϵ c τ ω 2 ‖ ω k + 1 − ω k ‖ 2 − ( 1 / 2 ) ϵ c ‖ Θ ( u k , ω k ) ‖ 2 − ( 1 / 2 ) ϵ c ‖ Θ ( u k + 1 , ω k + 1 ) ‖ 2 . − ϵ c ϵ Θ u k , ω k , Θ u k + 1 , ω k + 1 ≤ ( 1 / 2 ) ϵ c τ u 2 u k + 1 − u k 2 + ( 1 / 2 ) ϵ c τ ω 2 ω k + 1 − ω k 2 − ( 1 / 2 ) ϵ c Θ u k , ω k 2 − ( 1 / 2 ) ϵ c Θ u k + 1 , ω k + 1 2 . {:[-epsilon c{: epsilon Theta(u^(k),omega^(k)),Theta(u^(k+1),omega^(k+1)):)],[ <= (1//2)epsilon ctau_(u)^(2)||u^(k+1)-u^(k)||^(2)+(1//2)epsilon ctau_(omega)^(2)||omega^(k+1)-omega^(k)||^(2)],[-(1//2)epsilon c||Theta(u^(k),omega^(k))||^(2)-(1//2)epsilon c||Theta(u^(k+1),omega^(k+1))||^(2).]:}\begin{aligned} -\epsilon c & \left.\epsilon \Theta\left(u^{k}, \omega^{k}\right), \Theta\left(u^{k+1}, \omega^{k+1}\right)\right\rangle \\ \leq & (1 / 2) \epsilon c \tau_{u}^{2}\left\|u^{k+1}-u^{k}\right\|^{2}+(1 / 2) \epsilon c \tau_{\omega}^{2}\left\|\omega^{k+1}-\omega^{k}\right\|^{2} \\ & -(1 / 2) \epsilon c\left\|\Theta\left(u^{k}, \omega^{k}\right)\right\|^{2}-(1 / 2) \epsilon c\left\|\Theta\left(u^{k+1}, \omega^{k+1}\right)\right\|^{2} . \end{aligned}

最后，利用 (37)-(41) 可以将不等式 (36) 改写为
φ ( u k , ω k , p k ) − φ ( u k + 1 , ω k + 1 , p k + 1 ) ≥ ( 1 / 2 ) ( β − ϵ A − ϵ c τ u 2 ) ‖ u k + 1 − u k ‖ 2 + ( 1 / 2 ) ( γ − ϵ c τ ω 2 ) ‖ ω k + 1 − ω k ‖ 2 + ( 1 / 2 ) ϵ ( 2 c − ρ ) ‖ Θ ( u k + 1 , ω k + 1 ) ‖ 2 φ u k , ω k , p k − φ u k + 1 , ω k + 1 , p k + 1 ≥ ( 1 / 2 ) β − ϵ A − ϵ c τ u 2 u k + 1 − u k 2 + ( 1 / 2 ) γ − ϵ c τ ω 2 ω k + 1 − ω k 2 + ( 1 / 2 ) ϵ ( 2 c − ρ ) Θ u k + 1 , ω k + 1 2 {:[varphi(u^(k),omega^(k),p^(k))-varphi(u^(k+1),omega^(k+1),p^(k+1))],[ >= (1//2)(beta-epsilon A-epsilon ctau_(u)^(2))||u^(k+1)-u^(k)||^(2)],[quad+(1//2)(gamma-epsilon ctau_(omega)^(2))||omega^(k+1)-omega^(k)||^(2)],[quad+(1//2)epsilon(2c-rho)||Theta(u^(k+1),omega^(k+1))||^(2)]:}\begin{aligned} & \varphi\left(u^{k}, \omega^{k}, p^{k}\right)-\varphi\left(u^{k+1}, \omega^{k+1}, p^{k+1}\right) \\ & \geq(1 / 2)\left(\beta-\epsilon A-\epsilon c \tau_{u}^{2}\right)\left\|u^{k+1}-u^{k}\right\|^{2} \\ & \quad+(1 / 2)\left(\gamma-\epsilon c \tau_{\omega}^{2}\right)\left\|\omega^{k+1}-\omega^{k}\right\|^{2} \\ & \quad+(1 / 2) \epsilon(2 c-\rho)\left\|\Theta\left(u^{k+1}, \omega^{k+1}\right)\right\|^{2} \end{aligned}
  其中
φ ( u , ω , p ) = K U ( u ∗ ) − K U ( u ) − ⟨ K U ′ ( u ) , u ∗ − u ⟩ + K Ω ( ω ∗ ) − K Ω ( ω ) − ⟨ K Ω ′ ( ω ) , ω ∗ − ω ⟩ + ( 1 / 2 ) ( ϵ / ρ ) ‖ p − p ∗ ‖ 2 − ( 1 / 2 ) ϵ c ‖ Θ ( u , ω ) ‖ 2 . φ ( u , ω , p ) = K U u ∗ − K U ( u ) − K U ′ ( u ) , u ∗ − u + K Ω ω ∗ − K Ω ( ω ) − K Ω ′ ( ω ) , ω ∗ − ω + ( 1 / 2 ) ( ϵ / ρ ) p − p ∗ 2 − ( 1 / 2 ) ϵ c ‖ Θ ( u , ω ) ‖ 2 . {:[varphi(u","omega","p)=K_(U)(u^(**))-K_(U)(u)-(:K_(U)^(')(u),u^(**)-u:)],[+K_(Omega)(omega^(**))-K_(Omega)(omega)-(:K_(Omega)^(')(omega),omega^(**)-omega:)],[+(1//2)(epsilon//rho)||p-p^(**)||^(2)-(1//2)epsilon c||Theta(u","omega)||^(2).]:}\begin{aligned} \varphi(u, \omega, p)= & K_{U}\left(u^{*}\right)-K_{U}(u)-\left\langle K_{U}^{\prime}(u), u^{*}-u\right\rangle \\ & +K_{\Omega}\left(\omega^{*}\right)-K_{\Omega}(\omega)-\left\langle K_{\Omega}^{\prime}(\omega), \omega^{*}-\omega\right\rangle \\ & +(1 / 2)(\epsilon / \rho)\left\|p-p^{*}\right\|^{2}-(1 / 2) \epsilon c\|\Theta(u, \omega)\|^{2} . \end{aligned}

从 (42) 可以看出，如果
0 < ϵ < β / ( A + c τ u 2 ) , 0 < ϵ < γ / c τ ω 2 0 < ρ < 2 c 0 < ϵ < β / A + c τ u 2 , 0 < ϵ < γ / c τ ω 2 0 < ρ < 2 c {:[0 < epsilon < beta//(A+ctau_(u)^(2))","],[0 < epsilon < gamma//ctau_(omega)^(2)],[0 < rho < 2c]:}\begin{aligned} & 0<\epsilon<\beta /\left(A+c \tau_{u}^{2}\right), \\ & 0<\epsilon<\gamma / c \tau_{\omega}^{2} \\ & 0<\rho<2 c \end{aligned}
  则
φ ( u , ω , p ) ≥ 0 φ ( u k , ω k , p k ) ≥ φ ( u k + 1 , ω k + 1 , p k + 1 ) φ ( u , ω , p ) ≥ 0 φ u k , ω k , p k ≥ φ u k + 1 , ω k + 1 , p k + 1 {:[varphi(u","omega","p) >= 0],[varphi(u^(k),omega^(k),p^(k)) >= varphi(u^(k+1),omega^(k+1),p^(k+1))]:}\begin{aligned} & \varphi(u, \omega, p) \geq 0 \\ & \varphi\left(u^{k}, \omega^{k}, p^{k}\right) \geq \varphi\left(u^{k+1}, \omega^{k+1}, p^{k+1}\right) \end{aligned}

总之， φ ( u k , ω k , p k ) φ u k , ω k , p k varphi(u^(k),omega^(k),p^(k))\varphi\left(u^{k}, \omega^{k}, p^{k}\right) 是一个非递增序列，自下而上是有界的，因此它是收敛的。然后，收敛到鞍点的证明可以如参考文献 1-2 所述进行。

下面，我们将对带有 Δ Δ Delta\Delta 变量的 APP 两级迭代方案的收敛特性进行一些考虑（参见第 3 节）。

3.2）简要介绍。让我们来看看不等式 (44e)；根据 (43)，它可以写成
K U ( u k + 1 ) − K U ( u k ) + ⟨ K U ′ ( u k + 1 ) , u ∗ − u k + 1 ⟩ − ⟨ K U ′ ( u k ) , u ∗ − u k ⟩ + + K Ω ( ω k + 1 ) − K Ω ( ω k ) + ⟨ K Ω ′ ( ω k + 1 ) , ω ∗ − ω k + 1 ⟩ − ⟨ K Ω ′ ( ω k ) , ω ∗ − ω k ⟩ + ( 1 / 2 ) ( ϵ / ρ ) [ ‖ p k − p ∗ ‖ 2 − ‖ p k + 1 − p ∗ ‖ 2 ] − ( 1 / 2 ) ϵ c [ ‖ Θ ( u k , ω k ) ‖ 2 − ‖ Θ ( u k + 1 , ω k + 1 ) ‖ 2 ] ≥ 0 . K U u k + 1 − K U u k + K U ′ u k + 1 , u ∗ − u k + 1 − K U ′ u k , u ∗ − u k + + K Ω ω k + 1 − K Ω ω k + K Ω ′ ω k + 1 , ω ∗ − ω k + 1 − K Ω ′ ω k , ω ∗ − ω k + ( 1 / 2 ) ( ϵ / ρ ) p k − p ∗ 2 − p k + 1 − p ∗ 2 − ( 1 / 2 ) ϵ c Θ u k , ω k 2 − Θ u k + 1 , ω k + 1 2 ≥ 0 . {:[K_(U)(u^(k+1))-K_(U)(u^(k))+(:K_(U)^(')(u^(k+1)),u^(**)-u^(k+1):)-(:K_(U)^(')(u^(k)),u^(**)-u^(k):)+],[+K_(Omega)(omega^(k+1))-K_(Omega)(omega^(k))+(:K_(Omega)^(')(omega^(k+1)),omega^(**)-omega^(k+1):)-(:K_(Omega)^(')(omega^(k)),omega^(**)-omega^(k):)],[+(1//2)(epsilon//rho)[||p^(k)-p^(**)||^(2)-||p^(k+1)-p^(**)||^(2)]],[-(1//2)epsilon c[||Theta(u^(k),omega^(k))||^(2)-||Theta(u^(k+1),omega^(k+1))||^(2)] >= 0.]:}\begin{aligned} & K_{U}\left(u^{k+1}\right)-K_{U}\left(u^{k}\right)+\left\langle K_{U}^{\prime}\left(u^{k+1}\right), u^{*}-u^{k+1}\right\rangle-\left\langle K_{U}^{\prime}\left(u^{k}\right), u^{*}-u^{k}\right\rangle+ \\ & +K_{\Omega}\left(\omega^{k+1}\right)-K_{\Omega}\left(\omega^{k}\right)+\left\langle K_{\Omega}^{\prime}\left(\omega^{k+1}\right), \omega^{*}-\omega^{k+1}\right\rangle-\left\langle K_{\Omega}^{\prime}\left(\omega^{k}\right), \omega^{*}-\omega^{k}\right\rangle \\ & +(1 / 2)(\epsilon / \rho)\left[\left\|p^{k}-p^{*}\right\|^{2}-\left\|p^{k+1}-p^{*}\right\|^{2}\right] \\ & -(1 / 2) \epsilon c\left[\left\|\Theta\left(u^{k}, \omega^{k}\right)\right\|^{2}-\left\|\Theta\left(u^{k+1}, \omega^{k+1}\right)\right\|^{2}\right] \geq 0 . \end{aligned}

根据核心函数 K K KK 的特点，我们可以得出
K U ( u k + 1 ) − K U ( u k ) + ⟨ K U ′ ( u k + 1 ) , u ∗ − u k + 1 ⟩ − ⟨ K U ′ ( u k ) , u ∗ − u k ⟩ ≤ ( 1 / 2 ) B ‖ u k − u ∗ ‖ 2 − ( 1 / 2 ) β ‖ u k + 1 − u ∗ ‖ 2 K Ω ( ω k + 1 ) − K Ω ( ω k ) + ⟨ K Ω ′ ( ω k + 1 ) , ω ∗ − ω k + 1 ⟩ − ⟨ K Ω ′ ( ω k ) , ω ∗ − ω k ⟩ ≤ ( 1 / 2 ) Γ ‖ ω k − ω ∗ ‖ 2 − ( 1 / 2 ) γ ‖ ω k + 1 − ω ∗ ‖ 2 . K U u k + 1 − K U u k + K U ′ u k + 1 , u ∗ − u k + 1 − K U ′ u k , u ∗ − u k ≤ ( 1 / 2 ) B u k − u ∗ 2 − ( 1 / 2 ) β u k + 1 − u ∗ 2 K Ω ω k + 1 − K Ω ω k + K Ω ′ ω k + 1 , ω ∗ − ω k + 1 − K Ω ′ ω k , ω ∗ − ω k ≤ ( 1 / 2 ) Γ ω k − ω ∗ 2 − ( 1 / 2 ) γ ω k + 1 − ω ∗ 2 . {:[K_(U)(u^(k+1))-K_(U)(u^(k))+(:K_(U)^(')(u^(k+1)),u^(**)-u^(k+1):)-(:K_(U)^(')(u^(k)),u^(**)-u^(k):)],[ <= (1//2)B||u^(k)-u^(**)||^(2)-(1//2)beta||u^(k+1)-u^(**)||^(2)],[K_(Omega)(omega^(k+1))-K_(Omega)(omega^(k))+(:K_(Omega)^(')(omega^(k+1)),omega^(**)-omega^(k+1):)-(:K_(Omega)^(')(omega^(k)),omega^(**)-omega^(k):)],[ <= (1//2)Gamma||omega^(k)-omega^(**)||^(2)-(1//2)gamma||omega^(k+1)-omega^(**)||^(2).]:}\begin{aligned} & K_{U}\left(u^{k+1}\right)-K_{U}\left(u^{k}\right)+\left\langle K_{U}^{\prime}\left(u^{k+1}\right), u^{*}-u^{k+1}\right\rangle-\left\langle K_{U}^{\prime}\left(u^{k}\right), u^{*}-u^{k}\right\rangle \\ & \leq(1 / 2) B\left\|u^{k}-u^{*}\right\|^{2}-(1 / 2) \beta\left\|u^{k+1}-u^{*}\right\|^{2} \\ & K_{\Omega}\left(\omega^{k+1}\right)-K_{\Omega}\left(\omega^{k}\right)+\left\langle K_{\Omega}^{\prime}\left(\omega^{k+1}\right), \omega^{*}-\omega^{k+1}\right\rangle-\left\langle K_{\Omega}^{\prime}\left(\omega^{k}\right), \omega^{*}-\omega^{k}\right\rangle \\ & \leq(1 / 2) \Gamma\left\|\omega^{k}-\omega^{*}\right\|^{2}-(1 / 2) \gamma\left\|\omega^{k+1}-\omega^{*}\right\|^{2} . \end{aligned}

不等式 (45) 和 (46) 的结果是
β ‖ u k + 1 − u ∗ ‖ 2 + γ ‖ ω k + 1 − ω ∗ ‖ 2 + ( ϵ / ρ ) ‖ p k + 1 − p ∗ ‖ 2 − ϵ c ‖ Θ ( u k + 1 , ω k + 1 ) ‖ 2 β u k + 1 − u ∗ 2 + γ ω k + 1 − ω ∗ 2 + ( ϵ / ρ ) p k + 1 − p ∗ 2 − ϵ c Θ u k + 1 , ω k + 1 2 beta||u^(k+1)-u^(**)||^(2)+gamma||omega^(k+1)-omega^(**)||^(2)+(epsilon//rho)||p^(k+1)-p^(**)||^(2)-epsilon c||Theta(u^(k+1),omega^(k+1))||^(2)\beta\left\|u^{k+1}-u^{*}\right\|^{2}+\gamma\left\|\omega^{k+1}-\omega^{*}\right\|^{2}+(\epsilon / \rho)\left\|p^{k+1}-p^{*}\right\|^{2}-\epsilon c\left\|\Theta\left(u^{k+1}, \omega^{k+1}\right)\right\|^{2}
≤ B ‖ u k − u ∗ ‖ 2 + Γ ‖ ω k − ω ∗ ‖ 2 + ( ϵ / ρ ) ‖ p k − p ∗ ‖ 2 − ϵ c ‖ Θ ( u k , ω k ) ‖ 2 ≤ B u k − u ∗ 2 + Γ ω k − ω ∗ 2 + ( ϵ / ρ ) p k − p ∗ 2 − ϵ c Θ u k , ω k 2 <= B||u^(k)-u^(**)||^(2)+Gamma||omega^(k)-omega^(**)||^(2)+(epsilon//rho)||p^(k)-p^(**)||^(2)-epsilon c||Theta(u^(k),omega^(k))||^(2)\leq B\left\|u^{k}-u^{*}\right\|^{2}+\Gamma\left\|\omega^{k}-\omega^{*}\right\|^{2}+(\epsilon / \rho)\left\|p^{k}-p^{*}\right\|^{2}-\epsilon c\left\|\Theta\left(u^{k}, \omega^{k}\right)\right\|^{2}.

由于 Θ Θ Theta\Theta 的特性，对于 (47) 的左侧项，我们有
( β − ϵ c τ u 2 ) ‖ u k + 1 − u ∗ ‖ 2 + ( γ − ϵ c τ ω 2 ) ‖ ω k + 1 − ω ∗ ‖ 2 + ( ϵ / ρ ) ‖ p k + 1 − p ∗ ‖ 2 ≤ β ‖ u k + 1 − u ∗ ‖ 2 + γ ‖ ω k + 1 − ω ∗ ‖ 2 + ( ϵ / ρ ) ‖ p k + 1 − p ∗ ‖ 2 − ϵ c ‖ Θ ( u k + 1 , ω k + 1 ) ‖ 2 . β − ϵ c τ u 2 u k + 1 − u ∗ 2 + γ − ϵ c τ ω 2 ω k + 1 − ω ∗ 2 + ( ϵ / ρ ) p k + 1 − p ∗ 2 ≤ β u k + 1 − u ∗ 2 + γ ω k + 1 − ω ∗ 2 + ( ϵ / ρ ) p k + 1 − p ∗ 2 − ϵ c Θ u k + 1 , ω k + 1 2 . {:[(beta-epsilon ctau_(u)^(2))||u^(k+1)-u^(**)||^(2)+(gamma-epsilon ctau_(omega)^(2))||omega^(k+1)-omega^(**)||^(2)+(epsilon//rho)||p^(k+1)-p^(**)||^(2)],[ <= beta||u^(k+1)-u^(**)||^(2)+gamma||omega^(k+1)-omega^(**)||^(2)],[quad+(epsilon//rho)||p^(k+1)-p^(**)||^(2)-epsilon c||Theta(u^(k+1),omega^(k+1))||^(2).]:}\begin{aligned} & \left(\beta-\epsilon c \tau_{u}^{2}\right)\left\|u^{k+1}-u^{*}\right\|^{2}+\left(\gamma-\epsilon c \tau_{\omega}^{2}\right)\left\|\omega^{k+1}-\omega^{*}\right\|^{2}+(\epsilon / \rho)\left\|p^{k+1}-p^{*}\right\|^{2} \\ & \leq \beta\left\|u^{k+1}-u^{*}\right\|^{2}+\gamma\left\|\omega^{k+1}-\omega^{*}\right\|^{2} \\ & \quad+(\epsilon / \rho)\left\|p^{k+1}-p^{*}\right\|^{2}-\epsilon c\left\|\Theta\left(u^{k+1}, \omega^{k+1}\right)\right\|^{2} . \end{aligned}

如果充分条件 (44a)-(44c) 成立，则 (48) 中的左侧项为非负，然后 (47) 可以扩展如下：
0 ≤ ( β − ϵ c τ u 2 ) ‖ u k + 1 − u ∗ ‖ 2 + ( γ − ϵ c τ ω 2 ) ‖ ω k + 1 − ω ∗ ‖ 2 + ( ϵ / ρ ) ‖ p k + 1 − p ∗ ‖ 2 ≤ B ‖ u k − u ∗ ‖ 2 + Γ ‖ ω k − ω ∗ ‖ 2 + ( ϵ / ρ ) ‖ p k − p ∗ ‖ 2 − ϵ c ‖ Θ ( u k , ω k ) ‖ 2 0 ≤ β − ϵ c τ u 2 u k + 1 − u ∗ 2 + γ − ϵ c τ ω 2 ω k + 1 − ω ∗ 2 + ( ϵ / ρ ) p k + 1 − p ∗ 2 ≤ B u k − u ∗ 2 + Γ ω k − ω ∗ 2 + ( ϵ / ρ ) p k − p ∗ 2 − ϵ c Θ u k , ω k 2 {:[0 <= (beta-epsilon ctau_(u)^(2))||u^(k+1)-u^(**)||^(2)+(gamma-epsilon ctau_(omega)^(2))||omega^(k+1)-omega^(**)||^(2)+(epsilon//rho)||p^(k+1)-p^(**)||^(2)],[ <= B||u^(k)-u^(**)||^(2)+Gamma||omega^(k)-omega^(**)||^(2)+(epsilon//rho)||p^(k)-p^(**)||^(2)-epsilon c||Theta(u^(k),omega^(k))||^(2)]:}\begin{aligned} 0 & \leq\left(\beta-\epsilon c \tau_{u}^{2}\right)\left\|u^{k+1}-u^{*}\right\|^{2}+\left(\gamma-\epsilon c \tau_{\omega}^{2}\right)\left\|\omega^{k+1}-\omega^{*}\right\|^{2}+(\epsilon / \rho)\left\|p^{k+1}-p^{*}\right\|^{2} \\ & \leq B\left\|u^{k}-u^{*}\right\|^{2}+\Gamma\left\|\omega^{k}-\omega^{*}\right\|^{2}+(\epsilon / \rho)\left\|p^{k}-p^{*}\right\|^{2}-\epsilon c\left\|\Theta\left(u^{k}, \omega^{k}\right)\right\|^{2} \end{aligned}

在 (49) 中，左侧项是后验误差的加权和，由于充分条件 (44)，权重均为正值。从 (49) 可以看出，后验误差之和的上界是右侧的先验误差之和；此外， B B BB 和 Γ Γ Gamma\Gamma 的值越小，上界也越小。