소개글
"시그모이드 함수"에 대한 내용입니다.
목차
1. 인공신경망의 작동 원리 및 활용
1.1. 인공신경망의 기본 구조
1.1.1. 생물학적 뉴런의 인공적 모델화
1.1.2. 노드와 가중치
1.1.3. 활성화 함수
1.2. 인공신경망의 학습 과정
1.2.1. 순전파(Forward Propagation)
1.2.2. 오차 역전파(Backpropagation)
1.2.3. 학습률의 중요성
1.3. 인공신경망의 응용
1.3.1. 개체군 성장곡선 모델링
1.3.2. 효소-기질 반응 속도 모델링
1.3.3. 전염병 예측 모델
2. 파이썬을 활용한 신경망 실습
2.1. 손글씨 데이터 분류 신경망 구현
2.1.1. 데이터 준비 및 전처리
2.1.2. 신경망 모델 설계
2.1.3. 학습 및 평가
2.2. 실험 결과 분석
2.2.1. 학습 데이터 양에 따른 정확도 변화
2.2.2. 은닉층 노드 수에 따른 정확도 변화
3. 참고 문헌
본문내용
1. 인공신경망의 작동 원리 및 활용
1.1. 인공신경망의 기본 구조
1.1.1. 생물학적 뉴런의 인공적 모델화
인공신경망은 생물학적 뉴런의 작동 원리를 컴퓨터 상에서 모방한 정보 처리 시스템이다. 생물학적 뉴런은 수상돌기를 통해 다른 뉴런으로부터 전기적 신호를 받아들이고, 이 신호가 일정 수준을 넘어서면 축삭돌기를 통해 다음 뉴런으로 신호를 전달한다. 이러한 뉴런의 특성을 인공신경망에서는 다음과 같이 모델화하고 있다.
인공신경망에서의 노드는 생물학적 뉴런에 해당하며, 여러 개의 입력값을 받아 하나의 출력값을 내보낸다. 이때 각 입력값에는 가중치가 곱해져서 노드로 전달된다. 이 가중치는 신경망의 학습 과정에서 점차 최적의 값으로 조정되어 나간다.
노드에서는 이렇게 가중치가 곱해진 입력값의 총합을 계산한 뒤, 이를 활성화 함수에 적용하여 최종 출력값을 결정한다. 활성화 함수는 신호의 세기를 조절하는 역할을 하는데, 대표적인 예로는 시그모이드 함수와 ReLU 함수 등이 있다. 이를 통해 노드가 활성화되는 임계값을 모사하고 있다.
이처럼 인공신경망은 생물학적 뉴런의 기본적인 특성을 차용하여 인공적으로 구현한 것이다. 이러한 모방을 통해 복잡한 문제에 대한 효과적인 해결책을 제시할 수 있게 되었다.
1.1.2. 노드와 가중치
노드와 가중치는 인공신경망의 기본 구성 요소이다. 노드는 인공신경망에서 뉴런의 역할을 대신하는 기본 단위로서, 입력값을 받아 처리하고 다음 계층의 노드로 출력값을 전달한다. 이때 각 노드 간의 연결에는 가중치가 곱해지는데, 이 가중치는 노드 간의 연결 강도를 나타내는 중요도를 의미한다.
입력값이 노드로 들어오면 해당 노드의 가중치와 곱해져서 중간 출력값이 계산된다. 이렇게 모든 입력값과 가중치의 곱을 더한 값이 최종적인 노드의 출력값이 된다. 이 출력값은 활성화 함수를 거쳐 다음 계층의 노드로 전달된다.
가중치는 노드 간 연결 강도를 조절하는 역할을 하며, 이 가중치를 학습하는 과정을 통해 인공신경망이 학습을 수행한다. 가중치 값이 적절하지 않으면 정확한 출력값을 얻을 수 없으므로, 오차 역전파 알고리즘 등을 통해 가중치를 점진적으로 조정해나가는 것이 중요하다.
따라서 노드와 가중치는 인공신경망의 핵심 구성 요소로서, 노드가 실제 계산을 수행하고 가중치가 그 연결 강도를 조절하는 역할을 한다고 볼 수 있다.
1.1.3. 활성화 함수
활성화 함수는 인공신경망에서 입력값과 가중치의 선형 조합 결과를 비선형 함수를 통해 변환하여 출력값을 생성하는 기능을 수행한다. 즉, 활성화 함수는 인공신경망의 노드에서 입력값과 가중치의 곱셈 결과에 적용되는 함수로, 비선형성을 부여하여 복잡한 문제를 해결할 수 있게 해준다.
대표적인 활성화 함수로는 시그모이드(Sigmoid) 함수와 ReLU(Rectified Linear Unit) 함수가 있다. 시그모이드 함수는 입력값의 범위를 0과 1 사이의 값으로 매핑하여 출력하는 S자 형태의 곡선 함수이다. 이는 출력값을 확률 형태로 해석할 수 있게 해주어 분류 문제에 적합하다. 하지만 시그모이드 함수는 입력값이 매우 큰 경우 출력값의 변화가 미미해지는 포화 현상이 발생할 수 있다는 단점이 있다.
이에 비해 ReLU 함수는 입력값이 0 이상이면 입력값 그대로 출력하고, 0 미만이면 0을 출력하는 비선형 함수이다. ReLU 함수는 시그모이드 함수에 비해 계산이 간단하고 수렴 속도가 빠르다는 장점이 있다. 또한 입력값이 음수인 경우에도 0으로 매핑되어 음수 값 자체가 의미 있게 작용하지 않는다는 특성이 있다.
최근에는 ReLU 함수의 변형인 Leaky ReLU, Parametric ReLU 등의 함수가 개발되어 0 미만...
참고 자료
비상 미적분 교과서 p73 / p113
이와사 요, 김윤진 외 옮김, “수리 생물학 입문”
강혜정, 생명과학을 위한 수학
미생물학 입문 / Benjamin. S. Weeks / 월드사이언스 / 2013 / p.172~173
https://en.wikipedia.org/wiki/Sigmoid_function
<신경망 첫걸음>(티라크 라시드)
강민제. (2020). 딥러닝을 위한 경사하강법 비교. 한국산학기술학회 논문지, 21(2), 189-194.
안성만. (2016). 딥러닝의 모형과 응용사례. 지능정보연구, 22(2), 127-142.
