情報量、ゲインについてメモ

情報量はlog(1/P(E))=-logP(E)

事象Eが起こるときの確率値がP(E)

確率値が小さいほど情報量が大きくなる

エントロピー（平均情報量）は情報量の期待値をとった値である

https://ja.wikipedia.org/wiki/%E6%83%85%E5%A0%B1%E9%87%8F

情報利得=分割前の平均情報量 - 分割後の平均情報量