정보 이론(1)

서로 연관되어 있지 않은 두 사건 x, y 고려,

x, y 가 함께 일어났을 때 얻는 정보량은 각 사건이 따로 일어났을 때 얻는 정보량의 합이 될 것이다.

h(x, y) = h(x) + h(y)

연관되어 있지 않은 사건들은 독립적이며, 따라서

p(x, y) = p(x) p(y) 

위 관계로부터 h(x) 는 p(x) 의 로그에 해당한다는 것을 보일 수 있다.

 

h(x) = log_2 p(x)