エントロピー（entropy）入門
〜情報量とエントロピー〜

　情報量

• 確率 ｐ の事象が起こったと知らされたときに得る情報量 I を

  I = log2

  1 ｐ

  = -log2ｐ (bit)

  と定義する。（→確率入門へ）
  
  p = のとき、

  I = log2

  1

  = log2

  = 　(bit)

  
• 「確率が小さい（≒驚きが大きい）ほど情報量が大きい」、
  「珍しいことがニュースになる」、 「変化の無い処に情報は無い」

互いに独立な事象 A, B, C が順に起こったと知らされた時に得る情報量 I_ABCは、 P(A, B, C)=P(A)P(B)P(C) より、

I_ABC = -log₂P(A, B, C) = -log₂P(A)P(B)P(C) = (-log₂P(A)) + (-log₂P(B)) + (-log₂P(C))
　　　= I_A + I_B + I_C
• 「互いに何の関連も無い知らせを聞く度に、加算のルールで情報が蓄えられる」

　平均情報量

情報源 X からシンボル A₁, A₂, ..., A_n の何れかがランダムに^※出力されており、 それぞれのシンボルの生起確率が P(A₁), P(A₂), ..., P(A_n) で与えられているとする。
P(A₁) + P(A₂) + ... + P(A_n) = 1


シンボル Ai を受け取った時に得る情報量 Ii = log2

1 P(Ai)

= -log2P(Ai)　(bit)

• この情報源 X から得られる情報量の期待値（＝平均情報量）H(X) は、
  H(X) = P(A₁)I₁ + P(A₂)I₂ + ... + P(A_n)I_n
  

  = P(A1)log2

  1 P(A1)

  + P(A2)log2

  1 P(A2)

  + ... + P(An)log2

  1 P(An)

  (bit)

  =

  n Σ i = 1

  P(Ai)log2

  1 P(Ai)

  (bit)　（→Σ入門ヘ）

• 情報源の平均情報量はエントロピー（entropy）とも呼ばれ、 物理学や化学で登場する「乱雑さ」、「不規則さ」、「不確実さ」、「あいまいさ」といった概念を表すエントロピーと同じ概念である。
• シンボルが A, B の２種の場合（２元情報源）のエントロピー H は、P(A) = p とおくと、P(B) = 1-p だから、

  H(p) = p log2

  1 p

  + (1-p) log2

  1 1-p

  = -p log2p - (1-p)log2(1-p)　(bit)

  となる。自分で様々な p の値について H(p) を計算してグラフを描いてみよ！
  H(p) は、p に 1-p を代入しても H(1-p) = H(p) だから、グラフは p=1/2 に関して対称となるはずである。
  p = 0 や 1 の時に各項の対数の計算ができないが、極限値が 0 なので、H(0) = H(1) = 0 としておく。
  
  
  P(A) = p = , P(B) = 1-p = のとき、
  H() = log2

  1

  + () log2

  1
  　　　　　　　= + = 　(bit)
• シンボルが A, B, C の３種の場合のエントロピー H をグラフにすると、
  
  となり、P(A) = P(B) = P(C) = 1/3 の時、H が最大（log₂3 ≒ 1.5850 (bit)）になっていることが分かる。
  
  
  P(A) = , P(B) = , P(C) = のとき、
  H = log2

  1

  + () log2

  1

  + () log2

  1
  　　= + + = 　(bit)
• 一般に、P(A₁) = P(A₂) =...= P(A_n) = 1/n の時に、エントロピー H は最大（log₂n (bit)）になる。