エントロピー（entropy）

　エントロピー

• 情報源 X {x₁, x₂, ..., x_n} の平均情報量 H(X) は、

  H(X) =

  n Σ i = 1

  P(xi)log2

  1 P(xi)

  (bit)

  （

  n Σ i = 1

  P(xi) = 1 ）

• 情報源 Y {y₁, y₂, ..., y_m} の平均情報量 H(Y) は、

  H(Y) =

  m Σ j = 1

  P(yj)log2

  1 P(yj)

  (bit)

  
  （→エントロピー入門へ）
  

  　結合エントロピー（joint entropy）

  • 情報源 X と 情報源 Y から 同時に知った時の平均情報量 H(X, Y) は、

  （

  m Σ j = 1

  P(yj) = 1 ）

  H(X, Y) =

  n Σ i = 1

  m Σ j = 1

  P(xi, yj)log2

  1 P(xi, yj)

  (bit)

  （

  n Σ i = 1

  m Σ j = 1

  P(xi, yj) = 1 ）

• X と Y が独立の時、P(x_i, y_j) = P(x_i)P(y_j)より、

  H(X, Y) =

  n Σ i = 1

  m Σ j = 1

  P(xi)P(yj)log2

  1 P(xi)P(yj)

  =

  n Σ i = 1

  m Σ j = 1

  P(xi)P(yj){log2

  1 P(xi)

  +

  log2

  1 P(yj)

  }

  =

  n Σ i = 1

  P(xi)

  m Σ j = 1

  P(yj){log2

  1 P(xi)

  +

  log2

  1 P(yj)

  }

  =

  n Σ i = 1

  P(xi){log2

  1 P(xi)

  m Σ j = 1

  P(yj) +

  m Σ j = 1

  P(yj)log2

  1 P(yj)

  }

  =

  n Σ i = 1

  P(xi){log2

  1 P(xi)

  + H(Y)

  } =

  n Σ i = 1

  P(xi)log2

  1 P(xi)

  +

  n Σ i = 1

  P(xi)H(Y)

  = H(X) + H(Y)

• 一般には、H(X) + H(Y) ≧ H(X, Y)
  
  即ち、独立でない場合、一方の情報源から他方の情報源に関する情報を得ることがあることを物語っている。

　条件付きエントロピー

• Y について知った後の X の平均情報量 H(X|Y) は、

  H(X|Y) =

  n Σ i = 1

  m Σ j = 1

  P(yj)P(xi|yj)log2

  1 P(xi|yj)

  (bit)

  =

  n Σ i = 1

  m Σ j = 1

  P(xi, yj)log2

  1 P(xi|yj)

  (bit)

• X について知った後の Y の平均情報量 H(Y|X) は、

  H(Y|X) =

  n Σ i = 1

  m Σ j = 1

  P(xi)P(yj|xi)log2

  1 P(yj|xi)

  (bit)

  =

  n Σ i = 1

  m Σ j = 1

  P(xi, yj)log2

  1 P(yj|xi)

  (bit)

　各エントロピーの関係

• H(X, Y) = H(X) + H(Y|X)^※ = H(Y) + H(X|Y)
  • H(X) ≧ H(X|Y) 　〜 Y を知ることによって、X のあいまいさが減るなら不等号
  • H(Y) ≧ H(Y|X) 　〜 X を知ることによって、Y のあいまいさが減るなら不等号
  
  
• X と Y が独立の時、
  • H(X) = H(X|Y) 　〜 Y を知っても、X のあいまいさは減らない
  • H(Y) = H(Y|X) 　〜 X を知っても、Y のあいまいさは減らない

　相互情報量（mutual information）

Y を知った時、X に関して得られた情報量 I(X;Y) は、 I(X;Y) = H(X) - H(X|Y) X を知った時、Y に関して得られた情報量 I(Y;X) は、 I(Y;X) = H(Y) - H(Y|X) I(X;Y) = I(Y;X) X と Y が独立の時、 I(X;Y) = I(Y;X) = 0 一般に、H(X, Y) = H(X) + H(Y) - I(X;Y)

脚注
※	H(X) + H(Y|X) = n Σ i = 1 P(xi)log2 1 P(xi) + n Σ i = 1 m Σ j = 1 P(xi)P(yj|xi)log2 1 P(yj|xi) 　　 P(xi) = m Σ j = 1 P(xi, yj)、 P(xi)P(yj|xi) = P(xi, yj) 　より　（→確率入門へ） 　　　　　　　= n Σ i = 1 m Σ j = 1 P(xi, yj)log2 1 P(xi) + n Σ i = 1 m Σ j = 1 P(xi, yj)log2 1 P(yj|xi) 　　　　　　　= n Σ i = 1 m Σ j = 1 P(xi, yj)log2 1 P(xi)P(yj|xi) 　　　　　　　= n Σ i = 1 m Σ j = 1 P(xi, yj)log2 1 P(xi, yj) 　　　　　　　= H(X, Y)