패턴 인식에 대한 정의 및 분석

소개

패턴인식에 대한 전반적인 이론과 알고리즘에 대한 설명을 정리하였습니다.

AI 공부하시는데 많은 도움이 되시길 바랍니다.

그럼 열공하세요~!!

목차

♣ 패턴인식의 개요
1. 패턴인식의 정의
2. 특징과 패턴
3. 높은 상관을 가진 유형
4. 멀티 모달 유형
4. 패턴인식의 유형과 분류기
5. 패턴인식의 접근법
♣ 통계적 결정이론과 확률밀도함수의 추정
1. 우도비 검증 (LRT)
2. 오류확률
3. 베이즈 위험
4. LRT 결정규칙의 변형
5. 다중 클래스 결정규칙
6. 최우추정법에 의한 확률밀도함수의 추정
♣ 선형과 이차 분류기
1. 선형 분류기
2. 이차 분류기
♣ 데이터 마이닝의 시작 - 벡터 양자화와 클러스터링
1. 교사와 비교사 학습
2. 비교사 학습의 두 가지 접근법
3. 벡터 양자화 / 클러스터링
4. 최적화 기준
5. k-means 알고리즘과 EM 알고리즘
6. 비균일 이진 분할
7. k-means 와 이진 분리의 비교와 개선 : LBG 알고리즘
♣ 견고한 확률 모델-가우시안 혼합 모델
1. 가우시안 혼합 모델이란?
2. EM 알고리즘의 필요성
♣ 비모수 밀도 추정법
1. 비모수 밀도 추정이란?
2. 히스토그램
3. 커널 밀도 추정
4. 비모수 밀도 추정을 이용한 패턴인식
♣ 특징 벡터의 차원 축소- 주성분 분석법
1. 차원의 저주
2. 고유벡터와 고유값
3. 주성분 분석
♣ 선형판별분석법
1. 선형판별분석과 Fisher의 선형판별식
♣ 신경 세포 모델링 - 인공 신경망
1. 신경세포 모델링과 신경망의 태동
2. 헤브의 학습 규칙 : Hebb
3. 퍼셉트론 : Rosenblatt
4. 역전파(BP:Back-Propagation)알고리즘:Rumelhart, Hinton and Williams
5. 패턴인식과 신경망의 구조
♣ 뇌영역모델링-자기조직화특징지도(SOFM:Self Organized Feature Map)
1. 자기 조직화 특징 지도란?
2. SOFM의 학습 과정과 장단점
♣ 최적화 방법 - 유전 알고리즘
1. 유전 알고리즘
2. 유전 알고리즘의 특징
3. 유전 연산자
4. 단순 유전 알고리즘(SGA:Steady Genetin Algorithm)
♣ 시계열 패턴인식 - 동적 계획법과 DTW
1. 정적 패턴과 동적 패턴
2. 동적 계획법
3. DTW 알고리즘

본문내용

♣ 통계적 결정이론과 확률밀도함수의 추정
1. 우도비 검증 (LRT)
어떠한 데이터의 분포가 평균과 분산 이라는 파라미터로 구성된 단일 가우시안 확률밀도함수 언덕으로 모델링 되어질 수 있다. 물론 여러 개의 가우시안 언덕의 결합으로도 모델링 될 수도 있다. 이를 가우시안 혼합 모델(GMM)이라 한다.
남녀 가우시안 언덕에 대한 함수를 각각 gm와 gf라고 할 경우에 미지의 데이터 점 x가 주어지면, 그 점에서 확률을 의미하는 두 언덕의 높이 gm(x)와 gf(x)를 계산할 수 있으며, 그 점에서 남자의 언덕이 여자의 언덕보다 높으면 이 점은 여자보다는 남자에 더 유사하다고 볼 수 있을 것이다. 즉, 다음 식과 같은 두 수의 비를 살펴봄으로서 얼마나 유사한가를 측정할 수 있는 것이다.
이 문제는 결국 관측되어 주어진 특징 벡터 X가 주어질 경우, 그 특징 벡터가 속한 클래스를 결정하는 문제이다. 즉, 각 클래스의 사후 확률 이 가장 큰 값을 가진 클래스를 결정하는 것이다.
2. 오류확률
분류기를 특징 공간을 결정 영역으로 분할하는 장치라고 생각하면, 베이즈 분류기에서 몇 가지 부가적인 통찰을 할 수 있다.
3. 베이즈 위험
패턴 분류기가 잘못 분류하여 발생하는 비용의 항을 베이즈 분류기에 적용한 것이 베이즈의 위험의 개념이다.
Cij는 가 실제 속한 클레스일 때, 클래스를 선택하는데 따른 비용(혹은 벌점)을 나타낸다. 비용의 기댓값을 “베이즈 위험(Bayes Risk)"이라고 정의한다. 베이즈 위험이 커지면 그만큼 비용도 커지게 된다. 기댓값은 각 확률변수와 그 확률번수가 발생할 확률의 곱의 합으로 정의된다.
결국, 베이즈 위험의 최소화를 통해서도 결정경계를 결정할 수 있다.
4. LRT 결정규칙의 변형
(1) 베이즈 규준
베이즈 위험(Bayes Risk)을 최소화하는 LRT 결정 규칙을 Bayes Criterion(베이즈 규준)이라고 정의 한다.
(2) MAP 규준
대칭적 혹은 비용 값이 0 아니면 1 인 제로-원 비용 함수를 사용하면 베이즈 규준이 사후 확률 ( )의 비로 표현된다. 이 규준을 사후 확률 최대화한다는 의미에서 “MAP(Maximum A Posterior) 규준 ” 이라고 한다.
(3) ML 규준
사전 확률( ) 이 같고 제로-원 비용 함수의 경우, 베이즈 규준은 우도 ( ) 의 비로 표현된다. 이 규준을 우도를 최소화한다는 의미에서 ML(Maximum Likelihood) 규준이라고 한다.

참고자료

· 없음