총 9개
-
KL Divergence2025.05.101. KL Divergence KL Divergence는 두 확률 분포 사이의 차이를 측정하기 위해 사용되는 개념입니다. KL Divergence는 주로 정보 이론과 확률 이론에서 사용되며, 두 분포가 얼마나 다른지를 수치적으로 나타냅니다. KL Divergence는 다양한 분야에서 활용되며, 예를 들어 확률 분포 간의 차이를 측정하여 데이터 압축, 정보 검색, 통계 분석 등에 사용될 수 있습니다. 2. KL Divergence와 엔트로피 KL Divergence와 엔트로피는 서로 다른 개념이지만, 정보 이론과 확률론에서 밀접한 관...2025.05.10
-
갈수록 정보이론이 중요해지는 이유2025.05.101. 정보이론 정보이론은 정보의 전송, 저장, 처리에 관한 원리와 방법을 연구하는 학문으로, 우리가 일상에서 마주하는 다양한 형태의 정보를 효율적으로 다루는 데에 도움을 줍니다. 정보이론은 어떻게 하면 정보를 가장 효율적으로 전달하고 저장할 수 있는지, 그리고 정보의 손실 없이 전달할 수 있는 방법을 연구합니다. 2. 빅데이터 빅데이터 시대에는 정보의 양이 기하급수적으로 증가하고 있습니다. 이 때문에 정보를 효과적으로 다루기 위해서는 정보이론의 원리와 방법을 활용해야 합니다. 정보이론은 데이터 압축, 데이터 전송의 효율성, 정보의 ...2025.05.10
-
확률분포를 엔트로피로 표현하기2025.01.161. 확률분포와 엔트로피 확률분포를 엔트로피로 표현하면 그 분포가 나타내는 불확실성의 정도를 수치화할 수 있다. 높은 엔트로피 값은 결과를 예측하기 어려운 상황을 의미하며, 낮은 엔트로피 값은 결과를 상대적으로 쉽게 예측할 수 있음을 나타낸다. 이를 통해 분석하고자 하는 대상에 대한 심도 있는 이해와 신뢰성 있는 예측 및 의사결정을 할 수 있다. 2. 열역학에서의 엔트로피 열역학에서의 엔트로피는 시스템의 무질서함 또는 혼돈의 정도를 나타내는 척도이다. 엔트로피 증가의 법칙에 따르면 고립된 시스템의 엔트로피는 시간이 지남에 따라 증가...2025.01.16
-
인하대 2022년 통신이론설계 중간고사2025.11.111. 통신이론 통신이론은 신호의 전송, 수신, 처리에 관한 기본 원리를 다루는 학문입니다. 아날로그 및 디지털 신호의 특성, 변조 기법, 채널 모델링, 신호 검출 등 통신 시스템의 핵심 개념들을 포함하며, 정보 이론과 신호 처리 기술을 기반으로 효율적인 통신 시스템 설계를 가능하게 합니다. 2. 신호 처리 및 변조 신호 처리는 수신된 신호를 분석하고 필터링하는 기술이며, 변조는 정보를 반송파에 실어 전송하는 방식입니다. AM, FM, PSK, QAM 등 다양한 변조 기법이 있으며, 각 기법은 대역폭, 전력 효율, 잡음 내성 등에서 ...2025.11.11
-
정보전달의 무결성 및 채널모호도2025.05.031. 정보전달의 무결성 통신에서 무결성이란 정보가 변형되지 않고 전달되는 것을 의미한다. 음성은 약간의 변형을 허용하지만, 데이터는 1비트의 변형으로도 심각한 오류가 발생할 수 있다. 이를 해결하기 위해 정보의 추상명사를 정량화하여 원하는 정보를 높은 확률로 전달할 수 있는 기전이 마련되었다. 정보 전달의 무결성을 위해 아스키 코드와 비트 단위 부호화가 사용되며, 작은 단위의 비트를 사용하는 것이 무결성 유지에 좋다. 2. 채널 모호도 채널 모호도는 정보량이 입력부터 출력까지 전달되는 것을 의미한다. 입력 엔트로피는 입력으로부터 들...2025.05.03
-
현대인간공학 교재 4장 내용 정리 및 자신의 의견2025.05.121. 인간의 정보처리 과정 일상생활에서 우리는 많은 정보를 기억해야 하지만, 제품의 사용법을 이해하기 어려워하는 경우가 많다. 이는 사람의 인지 특성을 고려하지 않은 제품 디자인 때문이다. 인간의 정보처리 과정은 감각기관에서 정보를 받아들이고, 이를 해석하여 의사결정을 내리고 행동으로 이어지는 과정으로 구성된다. 이 과정에서 기억이 중요한 역할을 한다. 2. 인간의 기억체계 인간의 기억은 감각보관, 단기기억, 장기기억으로 구분된다. 감각보관은 자극이 사라진 후에도 순간적으로 감각기관에 남는 것이고, 단기기억은 주의집중에 의해 기록된...2025.05.12
-
인공지능과 엔트로피 - 정보 불확실성을 측정하는 척도2025.05.101. 물리학에서의 엔트로피 물리학에서의 엔트로피는 물질의 무질서도와 에너지 분산을 나타내는 개념입니다. 엔트로피는 주로 열역학과 통계 역학에서 사용되며, 시스템의 상태와 그에 따른 가능한 방향성을 설명하는 척도로 활용됩니다. 엔트로피는 시스템 내의 입자, 분자, 에너지 등의 혼잡도를 나타내며, 더 높은 엔트로피는 더 많은 무질서와 혼돈을 의미하고, 더 낮은 엔트로피는 더 정렬되고 조직적인 상태를 나타냅니다. 또한 엔트로피는 열의 방향성과 에너지의 분산을 나타내는 척도로도 사용됩니다. 2. 정보이론에서의 엔트로피 정보이론에서의 엔트로...2025.05.10
-
확통, 화학 연계 세특 발표 자료 - 엔트로피란2025.01.211. 정보이론에서의 '엔트로피'사용 정보 이론에서의 엔트로피는 어떤 사건이 정보적 측면에서 얼마나 중요한가를 반영한 로그 지표에 대한 기댓값을 의미합니다. 낮은 확률 값(큰 엔트로피를 가진 사건)은 드물게 발생한다는 것을 의미하며, 이는 귀한 정보를 나타냅니다. 반면 높은 확률 값(작은 엔트로피를 가진 사건)은 자주 발생한다는 것을 의미하며, 이는 흔한 정보를 나타냅니다. 2. 화학에서의 엔트로피 화학에서 '자발적'이란 충분한 시간이 주어졌을 때 외부의 간섭이 없이도 스스로 일어나는 변화를 의미합니다. 이러한 '자발적' 과정에는 에...2025.01.21
-
생명은 어떻게 정보가 되었는가2025.11.141. 정보로서의 생명 개념의 등장 냉전 시대의 사이버네틱스, 정보 이론, 컴퓨터 과학 등이 생명을 정보체계로 인식하게 만들었다. 1953년 DNA 이중나선 구조 발견 이후 생명을 ACGT 염기서열로 환원시킬 수 있다는 생각이 확산되었고, 2003년 인간유전체계획 완성으로 생명을 정보로 보는 관점이 일반화되었다. 이는 단순한 이해를 넘어 생명을 조작 가능한 대상으로 인식하게 했다. 2. 생명의 분자화와 신자유주의의 결합 1980년대 이후 신자유주의와 생명공학이 상호 공구성하면서 생명의 분자화가 심화되었다. 전 지구적 사유화 체제 속에...2025.11.14