エントロピー（entropy）４
〜伝言ゲーム〜

　例題３

袋の中から、赤球と白球がランダムに出てきます。情報源Ａと呼びます。 赤球が出てくる確率を Ar、白球が出てくる確率を Awとします。 これを見たＣ君が、赤か白かをＢ君に伝えます。 Ｃ君が赤を正しく伝える確率を Crr、赤を白と誤って伝える確率を Crw、 白を正しく伝える確率を Cww、白を赤と誤って伝える確率を Cwr とします。

Ar + Aw = 1 Crr + Crw = 1 Cww + Cwr = 1 Ｂ君が赤と聞く確率 Br、白と聞く確率 Bw はそれぞれ、 Br = ArCrr + AwCwr Bw = ArCrw + AwCww Crr = Cww = 1、Crw = Cwr = 0 はＣ君が正確に情報を伝えることを意味し、 Crr = Cww = 0、Crw = Cwr = 1 はＣ君が必ず嘘をつく？ことを意味し、 Crr = Cww = Crw = Cwr = 1/2 はＣ君が全くいい加減に伝えていることを意味します。


Ａのエントロピー H(A) は、

H(A) = Ar log2

1 Ar

+ Aw log2

1 Aw

(bit)

Ar = p とおくと、

H(A) = H(p) = p log2

1 p

+ (1-p) log2

1 1-p

(bit)



Ｂ君が１回の伝言で受け取る平均情報量 H(B) は、

H(B) = Br log2

1 Br

+ Bw log2

1 Bw

(bit)

• 対称チャンネル

  今、簡単の為に、赤を白と誤る確率と白を赤と誤る確率が同じであるとして、Crw = Cwr = r とします。 Crr = Cww = 1 - r となります。 このような伝言者を対称チャンネルと呼びます。 Br = ArCrr + AwCwr = p(1-r) + (1-p)r Bw = ArCrw + AwCww = pr + (1-p)(1-r)

  H(B) = H(p,r) = (p(1-r) + (1-p)r) log2

  1 p(1-r) + (1-p)r

  + (pr + (1-p)(1-r)) log2

  1 pr + (1-p)(1-r)

  (bit)

  

実際の赤白が分かった時点での、Ｂ君が受け取る平均情報量 H(B|A) は、Ｃ君が新たに作り出したあいまいさを表しており、

H(B|A) =

Ar(Crr log2

1 Crr

+ Crw log2

1 Crw

) +

Aw(Cwr log2

1 Cwr

+ Cww log2

1 Cww

)

• Ｃ君が正確に情報を伝える時（Crr = Cww = 1、Crw = Cwr = 0）は、
  H(B|A) = 0 (bit)
• Ｃ君が全くいい加減に伝える時（Crr = Cww = Crw = Cwr = 1/2）は、
  H(B|A) = 1 (bit)
• Ｃ君が対称チャンネルの時（Crw = Cwr = r, Crr = Cww = 1 - r）は、

  H(B|A) = H(r) =

  (1-r) log2

  1 1-r

  +

  r log2

  1 r

  (bit)

  

伝言結果が分かった時点での、情報源Ａに残されるあいまいさ H(A|B) は、

H(A|B) =

Br(Drr log2

1 Drr

+ Drw log2

1 Drw

) +

Bw(Dwr log2

1 Dwr

+ Dww log2

1 Dww

)

ここで、Drw は赤を受け取ったときに白が出ていた確率で、事後確率と呼ばれいる。
ベイズ則によって、

P(r,r) = Ar Crr = Br Drr より、	Drr =	Ar Crr Br
P(r,w) = Ar Crw = Bw Dwr より、	Dwr =	Ar Crw Bw
P(w,r) = Aw Cwr = Br Drw より、	Drw =	Aw Cwr Br
P(w,w) = Aw Cww = Bw Dww より、	Dww =	Aw Cww Bw

と計算できる。

H(A|B) =

Br(

Ar Crr Br

log2

Br Ar Crr

+

Aw Cwr Br

log2

Br Aw Cwr

)

+

Bw(

Ar Crw Bw

log2

Bw Ar Crw

+

Aw Cww Bw

log2

Bw Aw Cww

)

=

Ar(Crr log2

Br Ar Crr

+

Crw log2

Bw Ar Crw

)

+

Aw(Cwr log2

Br Aw Cwr

+

Cww log2

Bw Aw Cww

)

• Ar = 1（Aw = 0）や Ar = 0（Aw = 1）の時、
  H(A|B) = 0 (bit)
• Ｃ君が対称チャンネルの時（Crw = Cwr = r, Crr = Cww = 1 - r）は、

  H(A|B) =

  p((1-r) log2

  p(1-r) + (1-p)r p(1-r)

  +

  r log2

  pr + (1-p)(1-r) pr

  )

  +

  (1-p)(r log2

  p(1-r) + (1-p)r (1-p)r

  +

  (1-r) log2

  pr + (1-p)(1-r) (1-p)(1-r)

  )

  

実際の赤白と、伝言結果の両方を同時に知らされた時のエントロピー、ＡとＢの結合エントロピー H(A, B) は、

H(A, B) =

Ar(Crr log2

1 Ar Crr

+

Crw log2

1 Ar Crw

)

+

Aw(Cwr log2

1 Aw Cwr

+

Cww log2

1 Aw Cww

)

• Ｃ君が対称チャンネルの時（Crw = Cwr = r, Crr = Cww = 1 - r）は、

  H(A, B) =

  p((1-r) log2

  1 p(1-r)

  +

  r log2

  1 pr

  )

  +

  (1-p)(r log2

  1 (1-p)r

  +

  (1-r) log2

  1 (1-p)(1-r)

  )

  

伝言を得ることで減少した情報源Ａのエントロピーは、伝言によって伝えられた情報源Ａに関する情報量と考えることができる。 I(B;A) = H(A) - H(A|B) を相互情報量と呼ぶ。
また、Ｂの得た情報量から、Ｃが新たに作り出したあいまいさを差し引いたものも、伝言によって伝えられた情報源Ａに関する情報量と考えることができる。 I(B;A) = H(B) - H(B|A)
• Ｃ君が対称チャンネルの時（Crw = Cwr = r, Crr = Cww = 1 - r）

情報源Ａを送信信号、伝言者Ｃを通信路、聞き手Ｂを受信信号と見ると、通信のモデルとなっており、 相互情報量は受信信号にどれだけ送信情報が含まれるかという尺度になっている。

　通信のモデル