情報エントロピー

情報量（じょうほうりょう、エントロピーとも）は、情報理論の概念で、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。頻繁に起こるできごと（たとえば「犬が人を噛む」）が起こったことを知ってもそれはたいした「情報」にはならないが、逆に滅多に起こらないできごと（たとえば「人が犬を噛む」）が起これば、それはより多くの「情報」を含んでいると考えられる。情報量はそのできごとがどれだけの情報をもっているかの尺度であるともみなすことができる。

なおここでいう「情報」とは、あくまでそのできごとの起こりにくさ（確率）だけによって決まる純粋に数学的な量のことであり、それが個人・社会にとってどれだけ意義のあるものかとは無関係である。たとえば「自分が宝くじに当たった」事象と「見知らぬAさんが宝くじに当たった」事象は、前者の方が有意義な情報に見えるが、両者の情報量は全く同じである（宝くじが当たる確率は所与条件一定のもとでは誰でも同じであるから）。