본문내용
1. 확률분포를 엔트로피로 표현하기
1.1. 엔트로피의 개념
엔트로피는 기본적으로 불확실성의 척도이다. 특정 상황에서 결과를 예측하기 위한 정보가 부족할수록 엔트로피는 커지게 된다. 이러한 엔트로피 개념을 확률분포에 적용하면, 확률분포의 엔트로피는 그 분포가 표현하는 불확실성의 척도라고 볼 수 있다. 높은 엔트로피 값을 가진 확률분포는 우리가 결과를 예측하기 어렵다는 것을 의미한다. 다시 말해, 그 결과에 대한 정보가 부족함을 나타낸다. 반면 낮은 엔트로피 값을 가진 확률분포는 우리가 결과를 상대적으로 쉽게 예측할 수 있다는 것을 의미한다. 쉽게 말해, 그 결과에 대한 정보가 충분함을 말해준다. 즉, 확률분포를 엔트로피로 표현하는 것은 그 현상에 대해 얼마나 많은 정보를 제공하는지를 나타내는 방법인 것이다. 이는 우리가 분석하고 이해하려는 대상에 대한 심도 있는 이해를 가능하게 해주며, 더욱 신뢰성있는 예측과 결정을 내리는 데 도움이 된다.
1.2. 열역학에서의 엔트로피
열역학에서의 엔트로피는 상태의 무질서함을 나타내는 물리적 척도로 사용된다. 골고루 섞인 국물에서 양념과 국물이 따로 분리되는 일은 일어나지 않는다. 안정된 상태로의 이동, 즉 자연스럽게 섞이는 무질서한 상태로의 방향성 있는 이동은 자연스럽게 일어나는 한편, 그 반대로의 과정은 일어나지 않는다. 이는 엔트로피 증가의 법칙을 잘 보여주는 사례이다.
또한 열역학에서의 엔트로피는 에너지의 활용 가능성을 설명한다. 분산되거나 고르게 퍼져 있는 에너지는 엔트로피가 높다고 표현한다. 반면, 집중되어 있는 에너지는 엔트로피가 낮다. 당연히 낮은 엔트로피의 에너지가 우리가 필요로하는 에니지이다. 따라서 엔트로피는 에너지가 얼마나 유용하게 쓰일 수 있는지를 결정할 수 있는 중요한 요소라 할 수 있다.
열역학의 두번째 법칙, 즉 엔트로피 증가의 법칙은 자연 현상의 궁극적인 방향성을 정의한다. 이 법칙에 따르면, 고립된 시스템의 엔트로피는 시간이 지남에 따라 증가하거나 최소한 그대로 유지된다. 최소한 줄어드는 일은 발생하지 않는다는 것이다. 즉, 시스템의 무질서함, 혼돈은 항상 증가한다는 것이다. 엔트로피의 개념은 이 세계가 어떻게 작동 하는지도 설명하고 있다. 세상의 모든 것, 우리 주변에서 일어나는 일들, 심지어 우리 몸 속에서 일어나는 화학 반응마저도 엔트로피 증가 법칙을 따르고 있다.
1.3. 정보이론에서의 엔트로피
정보이론에서의 엔트로피는 정보의 불확실성이나 무질서함을 측정하는 도구로 사용된다.
이는 사건이 일어날 가능성, 즉 정보의 "놀람" 정도를 수치로 나타낸 것이다. 어떤 정보를 얻었을 때 그 정보가 매우 예상치 못했던 것이라면 그 정보의 엔트로피, 즉 불확실성의 정도가 크다고 할 수 있다. 반면 매일 일어나는 사건이나 기존에 잘 알려진 정보라면 엔트로피가 낮다고 볼 수 있다.
정보이론의 창시자 클로드 섀넌은 엔트로피를 "무질서함" 또는 "불확실성"의 척도로 정의하였다. 이는 정보를 나타내기 위해 필요한 최소한의 비트 수를 의미하기도 한다. 예를 들어 동전을 던져 앞면 또는 뒷면이 나올 경우 하나의 비트면 충분하지만, 주사위를 던져 1부터 6 사이의 숫자가 나올 경우에는 두 개의 비트가 필요하다.
하지만 모든 정보가 동등한 가치를 가지는 것은 아니다. 우리가 일상에서 접하는 대부분의 정보는 이미 예상 가능한 것이므로 그 정보의 가치가 낮다. 반면 예상치 못했던 정보일수록 엔트로피가 높아지며, 그만큼 정보의 가치도 크다고 볼 수 있다.
이처럼 정보이론의 엔트로피는 단순히 정보의 양이 아니라 정보의 "품질"을 나타내는 개념이다. 이는 열역학에서의 엔트로피가 에너지의 양보다는 품질을 나타내는 것과 유사하다고 할 수 있다.
즉, 정보이론에서의 엔트로피는 정보의 불확실성과 가치를 수치화한 개념으로, 이를 이해하는 것은 정보를 분석하고 판단하는데 중요한 역할을 한다.
1.4. 확률분포의 엔트로피와 그 의미
확률분포의 엔트로피와 그 의미는 다음과 같다.
확률분포의 엔트로피는 그 분포가 표현하는 불확실성의 척도이다. 이는 이론적으로 분포되어 있는 각 개별 사건이 발생할 확률을 기반으로 계산된다. 흥미로운 점은 각 사건의 확률이 동일한 경우, 즉...
