Weka를 통한 빅데이터 자료 분석

소개

고려대학교 인공지능을 강의하시는 모 교수님의 파이널 텀프로젝트 리포트 입니다.

해당 과제에 대하여 에이플 점수를 맞았고 총 학점 또한 에이플 맞았습니다.

과제의 수준은 어렵지 않으나 이러한 과제에 미숙한 학우들이 존재하기에 참고용으로 올려봅니다.

목차

0.요약

1.Dataset 정보

2.실험 설계

3.Weka 실행 정보
3.1 ZeroR
3.2 OneR
3.3 J48
3.4 MLP
3.5 Naive Bays
3.6 KStar(약 30분)
3.7 결론 도출

4.Dataset 정보

5.실험 설계

6.실행 정보
6.1 zeroR
6.2.oneR
6.3.J48
6.4.MLP
6.5.Naive Bays
6.6.KStar 알고리즘
6.7 결론 도출

본문내용

0.요약
● 가우시안 분포를 따르는 waveform5000.
arff과 텍스트를 검출한 letter.arff를 사용
● Waveform
○ 가우시안 분포를 따르기 때문에 MLP,Naive Bays에서 높은 검출률(80%)
○ 또한 가우시안 분포로 인하여 구역구역 나눌수 있기 때문에 J48도 높은 검출률(75%)
○ 정확히 1/3로 데이터가 나뉘고 가우시안 분포를 따르기에 이론적인면에서 좋은 예제
○ 40개의 attribute를 가짐에도 불구하고 5개의 hidden layer에서 최적화
○ 3개밖에 안되는 class에 적절히 분배된 가우시안 분포로 인하여 oneR에서도 높은 검출률(50%)
○ KStar는 73%의 낮은 검출률을 보이는데 이는 가까운 여러개가 아닌 모양에 영향을 받음을 의미
● letter.arff
○ 알파벳 글자를 17개의 attribute로 표현
○ 알파벳의 특성상 각진 글자가 많기 때문에 J48에서 높은 검출률(87%)
○ MLP에서는 위와는 다르게 속도가 매우 느리고 5개의 hidden에서는 별로 좋지 못한 성능을 보임(62%)
○ 이는 알파벳의 모양상 독특하게 생겼기 때문에 많은 Layer를 필요로 한다.
○ 그렇기에 레이어를 한 60개 까지 올리니 거의 90%의 정확도를 자랑한다.
○ 그러나 계속 올리기에는 시간적 여유와 의미가 없어 보이기 때문에 멈추었다.
○ 위의 waveform과는 다르게 overfitting 에 걸리는데에는 많은 레이어가 필요할듯 하다.
○ Naive Bays도 고른 분포라고 할 수없기 때문에 별로 좋지 못한 효율을 보인다.(64%)
○ MLP에서 많은 시간(hidden 15 > 30분) 을 보이나, 위의 waveform과는 정반대의 모습을 보이기 때문에 이 또한 좋은 예제
○ KStar를 사용하면 약 1시간이 걸리는 대신 96%의 정확도를 자랑한다.

참고자료

· weka