朱雪龙《应用信息论基础》*题答案互信息凸性

发布于:2021-09-27 02:57:49

互信息函数 I ( P, Q ) 的性质 2 的证明. 对于确定的条件概率矩阵 Q 互信息函数 I ( P, Q ) 是概率矢量空间 S 上的上凸 函数. (其中 S ={ P :P = p1 , p 2 …, p K ) 0 ≤ p k ≤ 1, k = 1,2,...K , 而 ( , 证明:首先由定义知: I ( X , Y ) = H (Y ) - H (Y X ) 其中 H (Y ) =
K k =1 K J
K

∑p
k =1

k

= 1 })

∑ p(b ) log p(b )
j =1 j j J j =1 J j =1 K k , b j ) log ∑ p ( a k ) p (b j a k ) k =1

=

∑ ∑ p(a ∑
k =1

=

K k =1

∑ p(ak ) p(b j a k ) log ∑ p(a k ) p(b j ak )
K J

H (Y X ) = ∑
k =1 K k =1 J

∑ p(a
j =1 k

k

, b j ) log p (b j / a k )

=

∑ ∑ p(a
j =1

) p(b j a k ) log p(b j / a k )

可知对于确定的 Q , H (Y ) 和 H (Y X ) 都是 S 上的函数,且 H (Y X ) 关于 P 是 线性的.

下面将证明 H (Y ) 是 S 上的上凸函数.即对 P1 = ( p11 , p12 ,..., p1K ) ,

P2 = ( p 21 , p 22 ,..., p 2 K ) ∈ S ,及 λ , λ , 0 ≤ λ ≤ 1, λ = 1 λ . 成立

k =1 K

∑ [ λp
j =1

J

1k

(a k ) p(b j a k ) + λ p 2 k (a k ) p(b j / a k )] log ∑ [λp1k (a k ) + λ p 2 k (a k )] p(b j a k )
k =1

K



λ∑
k =1

K

J j =1

K k =1

∑ p1k (a k ) p(b j ak ) log ∑ p1k (ak ) p(b j a k )
K

λ∑
k =1

K

J j =1

∑ p 2k (a k ) p(b j ak ) log ∑ p2k (ak ) p(b j a k )
k =1 J K

(1)

事实上,首先看不等式左边:


k =1

K

∑ [ λp
j =1 J

1k

(a k ) p(b j a k ) + λ p 2 k (a k ) p(b j / a k )] log ∑ [λp1k (a k ) + λ p 2 k (a k )] p(b j a k )
k =1

=


k =1 J

K

∑ [λp1k (ak , b j ) + λ p 2k (a k , b j )] log ∑ [λp1k (a k ) p(b j ak ) + λ p 2k (a k ) p(b j ak )] =
j =1 k =1 1j

K

=

∑ [ λp
j =1 K J

(b j ) + λ p 2 j (b j )] log[λp1 j (b j ) + λ p 2 j (b j )]

(2)

而不等式右边:

λ∑
k =1

K

∑ p1k (a k ) p(b j ak ) log ∑ p1k (ak ) p(b j a k )
j =1 k =1

-

λ∑
k =1 J

K

J j =1

K k =1

∑ p 2k (a k ) p(b j ak ) log ∑ p2k (ak ) p(b j a k ) =
J

= λ ∑ p1 j (b j ) log p1 j (b j ) λ ∑ p 2 j (b j ) log p 2 j (b j )
j =1 j =1

(3)

因为 H (Y ) 关于 Y 的分布是上凸函数,则成立下面不等式:

∑ [λp1 j (b j ) + λ p 2 j (b j )] log[λp1 j (b j ) + λ p 2 j (b j )]
j =1

J

≥ λ ∑ p1 j (b j ) log p1 j (b j ) λ ∑ p 2 j (b j ) log p 2 j (b j )
j =1 j =1

J

J

所以, 综合 (2)(3) (1) , 式, 式成立. H (Y ) 是 S 上的上凸函数, 即 又知 H (Y X ) 关于 P 是线性的, 所以 I ( P, Q ) = I ( X , Y ) = H (Y ) - H (Y X ) 是概率矢量空间 S 上的 上凸函数.


相关推荐

最新更新

猜你喜欢