1. 트랜스포머 모델 트랜스포머는 어텐션만으로 구성된 신경망 모델로, RNN이나 CNN의 단점을 보완한 모델입니다. 트랜스포머는 어텐션 메커니즘을 사용하며, 단어를 동시에 고려할 수 있고 입력에 순서 정보가 없다는 특징이 있습니다. 트랜스포머 인코더는 멀티헤드 셀프 어텐션으로 구성되어 있으며, 트랜스포머 디코더는 마스크드 멀티헤드 셀프 어텐션을 사용합니다. 2. CNN의 문제점 CNN은 커널을 이용하기 때문에 이미지의 특징을 추출하는데 있어 국소적인 부분만을 고려하는 문제점이 있습니다. 3. RNN의 문제점 RNN은 시간의 흐름에 ...