딥러닝과 경사하강법

소개

1. 논문의 각종 서식을 준수한 자료입니다.
2. 다양한 참고문헌을 바탕을 둔 성실도가 돋보이는 보고서입니다.

목차

1. 서론
-탐구 동기
-탐구 방법

2. 본론
-경사하강법에 대하여
-딥러닝과의 연관성
-자연어 처리 방법

3. 결론
-탐구 결과 요약
-새롭게 알게된 점 & 후속 활동

본문내용

1. 서론

최근 화두에 오르고 있는 ai 시스템은 현재 우리 사회에 경제적,문화적으로 많은 영향을 끼치고 있다. ai란 artificial intelligence의 약자로 흔히 인공지능이라고도 부른다. 인공지능에도 많은 수학적 메커니즘을 탑재하고 있는데 그중 딥러닝은 인간의 두뇌에서 영감을 얻은 방식으로 데이터를 처리하도록 컴퓨터를 가르치는 방식이다. 이런 딥러닝은 방대한 데이터에서 복잡한 패턴을 학습할 수 있는 능력을 기를 수 있고 이런 중요한 기능에는 미분의 개념이 필수적이다. 뉴스를 보면서 ai가 우리 미래에 희망이다라는 말을 듣고 수업시간에 배운 미분이 인공지능에 어떻게 사용될 수 있는지 호기심을 느꼈다. 이후 ‘딥러닝을 위한 수학’을 탐독하여 경사하강법에 대해 공부하였다. 이후 경사하강법이 딥러닝의 어떤 부분에 쓰였는지와 컴퓨터의 언어인 자연어 처리와 어떤 연관이 있는지 조사해보았다.

2. 본론

2.1. 경사하강법에 대하여
경사하강법의 수학적 정의는 함수의 최솟값을 찾기위한 최적의 알고리즘이다. 이런 기본 아이디어는 함수의 미분값, 즉 기울기를 이용하여 점진적으로 최솟값을 향해 가는 것이다. 하지만 단순하게 미분한다고 해서 최솟값을 찾는것이 아니고 너무나 복잡해 미분해서 직접적으로 최소가 되는 점을 찾기 어려운 경우에 유용하게 쓰인다. 경사하강법의 손실함수는 실제값과 예측값의 차이를 수치화해주는 함수이다. 경사하강법의 이두 값의 차이 즉 오차가 최소화되도록 매개변수를 갱신하는데 손실함수의 기울기를 사용하는 것으로 현재 최고의 딥러닝 학습알고리즘을 제공하는 라이브러리에서 사용되고 있다. 경사하강법은 함수 값이 낮아지는 방향으로 독립 변수 값을 변형시키면서 최소 함수 값을 갖는 독립 변수 값을 찾는 방법이다. 경사하강법은 함수의 최솟값을 찾는 문제에서 활용되는데 많은 사람들이 “함수의 최소, 최댓값을 찾으려면 미분계수가 0인 지점을 찾으면 되지 않냐“라고 묻는다,

참고자료

· 딥러닝을 위한 수학.로널드 크로이젤.2022.08.08
· https://www.ibm.com/kr-ko/topics/natural-language-processing