[데이터 마이닝] 텍스트 마이닝을 이용한 문서 검색 시스템의 구현

소개

수많은 문서들 중에서 검색을 원하는 키워드를 입력하게되면, 프로그램 내에서 연관된 단어를 예측하여, 검색 키워드에 포함시켜 검색을 함으로써 검색의 정확성을 높이는 프로그램입니다. 사용 언어는 C 이구요, 약 2500개의 셈플 문서 파일도 들어있습니다. 영문 검색만 가능합니다.
간단히 예를 들어보면, 검색어로 'car' 라는 단어를 입력시 프로그램 내에서 연관된 단어 'engine','handle' 등의 단어가 'car'와 유사단어라 판단하고 검색어를 사용자가 입력한 1개에서 3개로 확장하여 문서를 검색 합니다.
연관 단어 판별은 검색 대상 문서들을 보구서 프로그램 자체적으로 유추 합니다.

목차

Ⅰ. 서 론
1. 연구 배경 및 목적 1
2. 연구 내용 및 범위 2
Ⅱ. 본 론
1. 관련 연구 3
1.1 기존의 문서 검색 기법 3
1.2 문서 인덱스 기법 6
1.2.1 문서-용어 정렬 6
1.2.2 용어-문서 정렬 7
1.3 단어 검색 기법 8
2. 문서 검색의 효율성 향상을 위한 기법 8
2.1 단순 단어 검색 기법 8
2.2 연관 단어 검색 기법 9
2.2.1 단일 문서 내에서의 연관 단어 추출 기법 10
2.2.2 전체 문서 내에서의 연관 단어 추출 기법 10
2.3 연관 단어의 중요도 계산 기법 11
2.3.1 불용어 판별 기법 11
2.3.2 연관단어 판별 기법 12
3. 실험 및 분석 12
3.1 준비 단계 12
3.2 단순 단어 검색 13
3.3 연관 단어 검색 14
3.3.1 예측단어 판별기준에 따른 검색 문서의 변화 15
3.3.2 연관 단어 판별 기준에 따른 검색 문서의 변화 19
3.3.3 실험 결론 23
3.4 검색 비교 24
Ⅲ. 결론 및 향후 연구 과제 25
참고문헌 27

본문내용

텍스트 마이닝은 텍스트로 이루어진 문서들 중에서 학습을 통하여 새로운 정보를 찾아내는 기술로써 불특정 다수의 문서 내에서 사용자가 의도한 문서를 정확하게 찾아내기 위한 방법으로 사용 할 수 있다. 본 논문의 구조는 다음과 같은 구조를 지니고 있다.
먼저 1장에서는 데이터 마이닝 소개와 데이터 마이닝의 활용 분야에 대해서 소개를 하였다. 또한 이를 기반으로 텍스트 마이닝의 소개와 실제 정보 검색 분야에서의 활용과 텍스트 마이닝을 사용한 정보 검색의 차이점을 살펴보고 현재 상업적으로 성공한 구글 검색엔진의 핵심 기능인 페이지 랭크(Page Rank)에 대해 살펴보았다. 그 다음으로 문서 검색 시스템을 구현하기 위하여 본 논문에서 사용한 방법인 문서-용어 정렬(Document-Term Sorting)과 용어-문서 정렬(Term-Document Sorting)을 설명 하였다. 이것을 바탕으로 2장에서는 문서 검색의 효율성을 향상시키기 위한 방법으로 단순 단어 검색 기법과 연관 단어 검색 기법을 제시하였다. 그리고 연관단어 검색 시 불용어와 연관단어를 구분하기 위한 방법을 살펴본다. 3장에서는 본 논문에서 제시한 기법을 바탕으로 실제 프로그램을 구현한 후 얼마나 효과적으로 문서를 검색 할 수 있는지 실험을 통하여 테스트를 하였다. 결론에서는 본 연구를 바탕으로 앞으로 더 연구해 볼 점들에 대해서 살펴보았다.

참고자료

· 없음