총 7개
-
KL Divergence2025.05.101. KL Divergence KL Divergence는 두 확률 분포 사이의 차이를 측정하기 위해 사용되는 개념입니다. KL Divergence는 주로 정보 이론과 확률 이론에서 사용되며, 두 분포가 얼마나 다른지를 수치적으로 나타냅니다. KL Divergence는 다양한 분야에서 활용되며, 예를 들어 확률 분포 간의 차이를 측정하여 데이터 압축, 정보 검색, 통계 분석 등에 사용될 수 있습니다. 2. KL Divergence와 엔트로피 KL Divergence와 엔트로피는 서로 다른 개념이지만, 정보 이론과 확률론에서 밀접한 관...2025.05.10
-
갈수록 정보이론이 중요해지는 이유2025.05.101. 정보이론 정보이론은 정보의 전송, 저장, 처리에 관한 원리와 방법을 연구하는 학문으로, 우리가 일상에서 마주하는 다양한 형태의 정보를 효율적으로 다루는 데에 도움을 줍니다. 정보이론은 어떻게 하면 정보를 가장 효율적으로 전달하고 저장할 수 있는지, 그리고 정보의 손실 없이 전달할 수 있는 방법을 연구합니다. 2. 빅데이터 빅데이터 시대에는 정보의 양이 기하급수적으로 증가하고 있습니다. 이 때문에 정보를 효과적으로 다루기 위해서는 정보이론의 원리와 방법을 활용해야 합니다. 정보이론은 데이터 압축, 데이터 전송의 효율성, 정보의 ...2025.05.10
-
확률분포를 엔트로피로 표현하기2025.01.161. 확률분포와 엔트로피 확률분포를 엔트로피로 표현하면 그 분포가 나타내는 불확실성의 정도를 수치화할 수 있다. 높은 엔트로피 값은 결과를 예측하기 어려운 상황을 의미하며, 낮은 엔트로피 값은 결과를 상대적으로 쉽게 예측할 수 있음을 나타낸다. 이를 통해 분석하고자 하는 대상에 대한 심도 있는 이해와 신뢰성 있는 예측 및 의사결정을 할 수 있다. 2. 열역학에서의 엔트로피 열역학에서의 엔트로피는 시스템의 무질서함 또는 혼돈의 정도를 나타내는 척도이다. 엔트로피 증가의 법칙에 따르면 고립된 시스템의 엔트로피는 시간이 지남에 따라 증가...2025.01.16
-
확통, 화학 연계 세특 발표 자료 - 엔트로피란2025.01.211. 정보이론에서의 '엔트로피'사용 정보 이론에서의 엔트로피는 어떤 사건이 정보적 측면에서 얼마나 중요한가를 반영한 로그 지표에 대한 기댓값을 의미합니다. 낮은 확률 값(큰 엔트로피를 가진 사건)은 드물게 발생한다는 것을 의미하며, 이는 귀한 정보를 나타냅니다. 반면 높은 확률 값(작은 엔트로피를 가진 사건)은 자주 발생한다는 것을 의미하며, 이는 흔한 정보를 나타냅니다. 2. 화학에서의 엔트로피 화학에서 '자발적'이란 충분한 시간이 주어졌을 때 외부의 간섭이 없이도 스스로 일어나는 변화를 의미합니다. 이러한 '자발적' 과정에는 에...2025.01.21
-
현대인간공학 교재 4장 내용 정리 및 자신의 의견2025.05.121. 인간의 정보처리 과정 일상생활에서 우리는 많은 정보를 기억해야 하지만, 제품의 사용법을 이해하기 어려워하는 경우가 많다. 이는 사람의 인지 특성을 고려하지 않은 제품 디자인 때문이다. 인간의 정보처리 과정은 감각기관에서 정보를 받아들이고, 이를 해석하여 의사결정을 내리고 행동으로 이어지는 과정으로 구성된다. 이 과정에서 기억이 중요한 역할을 한다. 2. 인간의 기억체계 인간의 기억은 감각보관, 단기기억, 장기기억으로 구분된다. 감각보관은 자극이 사라진 후에도 순간적으로 감각기관에 남는 것이고, 단기기억은 주의집중에 의해 기록된...2025.05.12
-
인공지능과 엔트로피 - 정보 불확실성을 측정하는 척도2025.05.101. 물리학에서의 엔트로피 물리학에서의 엔트로피는 물질의 무질서도와 에너지 분산을 나타내는 개념입니다. 엔트로피는 주로 열역학과 통계 역학에서 사용되며, 시스템의 상태와 그에 따른 가능한 방향성을 설명하는 척도로 활용됩니다. 엔트로피는 시스템 내의 입자, 분자, 에너지 등의 혼잡도를 나타내며, 더 높은 엔트로피는 더 많은 무질서와 혼돈을 의미하고, 더 낮은 엔트로피는 더 정렬되고 조직적인 상태를 나타냅니다. 또한 엔트로피는 열의 방향성과 에너지의 분산을 나타내는 척도로도 사용됩니다. 2. 정보이론에서의 엔트로피 정보이론에서의 엔트로...2025.05.10
-
정보전달의 무결성 및 채널모호도2025.05.031. 정보전달의 무결성 통신에서 무결성이란 정보가 변형되지 않고 전달되는 것을 의미한다. 음성은 약간의 변형을 허용하지만, 데이터는 1비트의 변형으로도 심각한 오류가 발생할 수 있다. 이를 해결하기 위해 정보의 추상명사를 정량화하여 원하는 정보를 높은 확률로 전달할 수 있는 기전이 마련되었다. 정보 전달의 무결성을 위해 아스키 코드와 비트 단위 부호화가 사용되며, 작은 단위의 비트를 사용하는 것이 무결성 유지에 좋다. 2. 채널 모호도 채널 모호도는 정보량이 입력부터 출력까지 전달되는 것을 의미한다. 입력 엔트로피는 입력으로부터 들...2025.05.03