エントロピー（entropy）２

　例題１

袋の中に、赤球が３個、白球が２個入っている。 この袋の中から、玉を戻さずに２回取り出すことを考える。 一番目の事象の情報源をＡ、二番目の事象の情報源をＢとする。 （⇒玉を戻すとどうなる？）

Ｐ赤赤 =	3 5	×	2 4	=	3 10		Ｐ赤白 =		3 5	×	2 4	=	3 10
Ｐ白赤 =	2 5	×	3 4	=	3 10		Ｐ白白 =		2 5	×	1 4	=	1 10

P(A赤,B赤) = P(A赤)×P(B赤|A赤) 　 P(A赤,B白) = P(A赤)×P(B白|A赤) P(A白,B赤) = P(A白)×P(B赤|A白) 　 P(A白,B白) = P(A白)×P(B白|A白)


結合エントロピー H(A, B) は、

H(A, B) =	3 10	log2	10 3	+	3 10	log2	10 3	+	3 10	log2	10 3	+	1 10	log2	10 1
=	9 10	log2	10 3	+	1 10	log2	10 1
≒ 1.8955 (bit)

H(A) =	3 5	log2	5 3	+	2 5	log2	5 2	≒ 0.9710 (bit)
H(B) =	3 5	log2	5 3	+	2 5	log2	5 2	≒ 0.9710 (bit)
H(A) + H(B) ≒ 1.9420 (bit) ＞ H(A, B)

これは A、B が独立でないことに起因している。

条件付きエントロピー H(B|A) は、１個目を取り出した結果を知った時の、２個目のエントロピーで、
H(A, B) = H(A) + H(B|A)
なる関係があり、「Ａ，Ｂのあいまいさは、Ａのあいまいさと、Ａを知ってもまだ残っている（Ａに依存しない）Ｂのあいまいさの和で表される」ことを示している。
• １個目が赤であったときの２個目のエントロピー H(B|A_赤)は、

  H(B|A赤) =

  P(B赤|A赤)

  log2

  1 P(B赤|A赤)

  +

  P(B白|A赤)

  log2

  1 P(B白|A赤)

  =

  2 4

  log2

  4 2

  +

  2 4

  log2

  4 2

  = 1 (bit)

• １個目が白であったときの２個目のエントロピー H(B|A_白)は、

  H(B|A白) =

  P(B赤|A白)

  log2

  1 P(B赤|A白)

  +

  P(B白|A白)

  log2

  1 P(B白|A白)

  =

  3 4

  log2

  4 3

  +

  1 4

  log2

  4 1

  =

  2 -

  3 4

  log2

  3 (bit)

• １個目を取り出した結果を知った時の、２個目のエントロピー H(B|A) は、

  H(B|A) =

  P(A赤)H(B|A赤) + P(A白)H(B|A白)

  =

  3 5

  × 1 +

  2 5

  × (

  2 -

  3 4

  log2

  3

  )

  =

  7 5

  -

  3 10

  log2

  3

  ≒ 0.9245 (bit)

  H(A) + H(B|A) ≒ 0.9710 + 0.9245 = 1.8955 ≒ H(A, B) が確認できる。
• ２個目のエントロピー H(B) との関係は、
  H(B)（≒ 0.9710）＞ H(B|A)（≒ 0.9245）
  「Ａを知るとＢに関するあいまいさが小さくなる。」

相互情報量 I(B;A) は、１個目を取り出した結果を知った時の、２個目に関して得られた情報量で、
I(B;A) = H(B) - H(B|A)
即ち、「Ａを知ることによって、減少したＢのあいまいさ＝Ｂに関して得られる情報量」である。
I(B;A) = H(B) - H(B|A)
　　　≒ 0.9710 - 0.9245 = 0.0465 (bit)