エントロピー（entropy）３

　例題２

袋の中に、赤球が３個、白球が２個入っている。 この袋の中から、玉を戻しながら２回取り出すことを考える。 一番目の事象の情報源をＡ、二番目の事象の情報源をＢとする。 （⇒玉を戻さないとどうなる？）

Ｐ赤赤 =	3 5	×	3 5	=	9 25		Ｐ赤白 =		3 5	×	2 5	=	6 25
Ｐ白赤 =	2 5	×	3 5	=	6 25		Ｐ白白 =		2 5	×	2 5	=	4 25

P(A赤,B赤) = P(A赤)×P(B赤|A赤) 　 P(A赤,B白) = P(A赤)×P(B白|A赤) P(A白,B赤) = P(A白)×P(B赤|A白) 　 P(A白,B白) = P(A白)×P(B白|A白) P(B赤|A赤) = P(B赤|A白) = P(B赤) P(B白|A赤) = P(B白|A白) = P(B白)


結合エントロピー H(A, B) は、

H(A, B) =	9 25	log2	25 9	+	6 25	log2	25 6	+	6 25	log2	25 6	+	4 25	log2	25 4
=	9 25	log2	25 9	+	12 25	log2	25 6	+	4 25	log2	25 4

=

50 25

log25

-

30 25

log23

-

20 25

≒ 1.9420 (bit)

H(A) =

3 5

log2

5 3

+

2 5

log2

5 2

≒ 0.9710 (bit)

H(B) =	3 5	log2	5 3	+	2 5	log2	5 2	≒ 0.9710 (bit)
H(A) + H(B) ≒ 1.9420 (bit) = H(A, B)

これは A、B が独立であることに起因している。

条件付きエントロピー H(B|A) は、１個目を取り出した結果を知った時の、２個目のエントロピーで、
H(A, B) = H(A) + H(B|A)
なる関係があり、「Ａ，Ｂのあいまいさは、Ａのあいまいさと、Ａを知ってもまだ残っている（Ａに依存しない）Ｂのあいまいさの和で表される」ことを示している。
• １個目が赤であったときの２個目のエントロピー H(B|A_赤)は、

  H(B|A赤) =

  P(B赤|A赤)

  log2

  1 P(B赤|A赤)

  +

  P(B白|A赤)

  log2

  1 P(B白|A赤)

  =

  3 5

  log2

  5 3

  +

  2 5

  log2

  5 2

  ≒ 0.9710 (bit)

• １個目が白であったときの２個目のエントロピー H(B|A_白)は、

  H(B|A白) =

  P(B赤|A白)

  log2

  1 P(B赤|A白)

  +

  P(B白|A白)

  log2

  1 P(B白|A白)

  =

  3 5

  log2

  5 3

  +

  2 5

  log2

  5 2

  ≒ 0.9710 (bit)

• １個目を取り出した結果を知った時の、２個目のエントロピー H(B|A) は、

  H(B|A) =

  P(A赤)H(B|A赤) + P(A白)H(B|A白)

  =

  3 5

  × (

  3 5

  log2

  5 3

  +

  2 5

  log2

  5 2

  ) +

  2 5

  × (

  3 5

  log2

  5 3

  +

  2 5

  log2

  5 2

  )

  =

  3 5

  log2

  5 3

  +

  2 5

  log2

  5 2

  ≒ 0.9710 (bit)

  H(A) + H(B|A) ≒ 0.9710 + 0.9710 = 1.9420 ≒ H(A, B) も確認できる。
• ２個目のエントロピー H(B) との関係は、
  H(B)（≒ 0.9710）＝ H(B|A)（≒ 0.9710）
  「Ａを知っても知らなくてもＢに関するあいまいさは変わらない。」

相互情報量 I(B;A) は、１個目を取り出した結果を知った時の、２個目に関して得られた情報量で、
I(B;A) = H(B) - H(B|A)
即ち、「Ａを知ることによって、減少したＢのあいまいさ＝Ｂに関して得られる情報量」である。
I(B;A) = H(B) - H(B|A)
　　　≒ 0.9710 - 0.9710 = 0 (bit)