소개글
"전산수학 중간"에 대한 내용입니다.
목차
1. 서론
2. 관련 연구
2.1. 2-레벨 형태론(two-level model)기반 기법
2.2. 다층 형태론 기반 기법
2.3. 다중 연결 리스트
2.4. 데이터 마이닝
2.4.1. 데이터 범주화
2.4.2. 데이터 추출
2.4.3. 클러스터링
3. 문서 분류 실험
3.1. 형태소 분석 방법론
3.2. 데이터마이닝 방법론
3.3. 실험결과
4. 결론 및 향후 연구
5. 참고 문헌
본문내용
1. 서론
텍스트 마이닝은 텍스트 데이터를 대상으로 하여 그들 간의 암묵적인 정보를 추출하는 과정으로 정의할 수 있다. 현재 4차 산업혁명이 도래함에 따라 다량의 데이터가 발생하고 있으며, 이러한 데이터 중에는 사실을 기반으로 작성된 데이터도 존재하지만 그렇지 않은 데이터도 존재한다. 부정확한 데이터는 데이터 소비자의 판단에 혼란을 발생시킬 수 있다. 최근 이를 방지하기 위해 다양한 사실확인 기법이 개발되었으며 실시간 사실확인까지 가능한 수준에 이르렀다. 하지만, 이러한 기술은 영어에 관해서만 가능하다는 한계점을 가지고 있다. 단어 단위로 분석하기 적합한 서양 언어와 다르게 한국어는 의미 단위의 다른 개념을 가지게 되어 텍스트 마이닝에 난제를 포함하고 있기 때문이다. 현재 한글을 기반으로 하는 사실확인 기법은 사람이 직접 반박 자료를 탐색하며 진행되기 때문에 시간이나 비용 면에서 비효율적인 측면을 가지고 있다. 따라서 본 연구팀은 한글 태그를 이용한 한글 형태소 분석을 기반으로 하는 뉴스 기사 진위 판단 알고리즘을 구연하여 소비자의 판단에 도움을 제공하는 목적으로 한다.
2. 관련 연구
2.1. 2-레벨 형태론(two-level model)기반 기법
Two-level 모델은 중간 계층(intermediate level)을 인정하지 않고 변형 규칙 대신에 표면층으로부터 어휘층으로 직접 대응하는 Two-level 규칙에 의하여 처리하는 전산언어학적 방법론이다. 이 모델에 의하여 형태소 분석을 처리하는 알고리즘은 다음과 같다. 입력 단어와 트라이 구조로 된 사전을 한 문자씩 비교하면서 사전을 검색한다. 이때 규칙의 조건부와 일치되는 단어의 부분문자열이 발견되면 규칙의 실행부에 기술된 문자열로 대치한 후 사전을 비교함으로써 트레킹에 의하여 형태소 분석을 수행한다.
형태소 분석의 문제는 형태소 분리와 형태론적 변형의 처리이다. Two-level 모델은 굴절어에서 발생하는 형태론적 변형과 형태소 분리를 동시에 Two-level 규칙으로 처리하고 있다. Two-level 모델에서는 중간 계층을 인정하지 않기 때문에 여러 부류의 규칙이 있을 때 입력 단어와 분석 과정에 따라 특정 유형의 규칙이 적용되도록 하거나 특정 유형의 규칙은 적용 대상에서 제외되도록 제한하기 어렵다.
그러나 한국어는 형태소 분리와 관련된 규칙, 불규칙 원형을 복원하는 규칙, 준말 처리에 관련되는 규칙 등 유형 분류가 명확하게 이루어지므로 분석 과정에 따라 적용되는 규칙의 유형을 제한할 필요가 있다. 한국어에서는 분석 결과의 수가 여러 개일 때 적용된 규칙의 가중치에 따라 분석 결과에 대한 가중치를 부여하거나 상대적으로 가능성이 매우 낮은 분석 결과를 무시할 수 있다면 형태소 분석의 질이 좋아지게 된다."이다.
2.2. 다층 형태론 기반 기법
다층 형태론은 Two-level 형태론에서 표층형으로부터 바로 어휘층을 이끌어 내는 과정을 수정하여 중간 계층으로 문법 형태소가 분리되거나 원형을 복원한 형태를 저장하기 위하여 다수의 중간층을 두는 것이다. 다층 형태론은 변형 생성 문법에서 중간 계층을 두고 변형 규칙에 표층형으로부터 어휘형을 생성하는 과정과 Two-level 형태론에서 형태론적 변형을 두 개의 계층으로 제한하여 처리하는 과정을 복합하여 형태소 분석에 적합하게 재구성한 것이다.
변형 생성 문법에서는 개별화될 수 있는 언어 현상을 최소 단위의 변형 규칙으로 기술함으로써 변형 규칙 사이에 적용 순서를 결정하기 어려운 문제가 있다. 다층형태론에서는 변형 과정을 반드시 변형 규칙을 기술할 필요가 없다. 변형 과정을 기술하는 제약을 없애는 대신에 중간 계층 사이의 변형은 단어 형성 규칙에 따라 일정한 순서를 갖고 각 단계마다 필요한 규칙을 적용하거나...
참고 자료
박진우, 고영중, 서정연, “문서 요약 기법을 이용한 자동문서 범주화, 제13회 한글 및 한국어 정보처리 학술대회, 2001
나윤재. “변형 나이브 베이즈 분류기를 이용한 자동 문서 분류에 관한 연구”, 연세대학교 공학대학원 2008학년도 석사학위 청구논문, 2008
이화림. "분류 정보 모형에 기반한 한글 자동 문서 범주화", 이화여자대학교 정보과학대학원 1998학년도 석사학위 청구논문, 1999
백용규.“한글 인터넷 뉴스 기사 자동 분류 시스템에 관한 연구”, 고려대학교 대학원, 2003
한빛아카데미, “컴퓨터 개론”, 2013
전산용어사전편찬위원회, 『컴퓨터 인터넷 IT용어 대사전』, 일진사, 2005
김대수, 『4차산업혁명 시대의 이산수학』, 생능출판, 2019
정순석, “이산수학의 필요성”, 충청매일, 2019.02.13, 1p
안경잡이개발자, 15. 너비우선탐색, 안경잡이개발자 네이버 블로그, https://m.blog.naver.com/ndb796/221230944971
Reakwon, 알고리즘 : 그래프 이론 그림으로 보는 BFS 기본, 개념, 설명, reakwon 티스토리,
https://reakwon.tistory.com/7?category=300867
_Shin, 깊이우선 탐색(DFS), 넓이우선 탐색(BFS), _Shin 티스토리,
https://devshin.tistory.com/entry/%EA%B9%8A%EC%9D%B4%EC%9A%B0%EC%84%A0-%ED%83%90%EC%83%89DFS-%EB%84%93%EC%9D%B4%EC%9A%B0%EC%84%A0-%ED%83%90%EC%83%89BFS
이관용. HTML5, 2018, 한국방송통신대학교출판문화원
고경희. HTML+CSS+자바스크립트 웹 표준의 정석, 2021, 이지스퍼블리싱
mdn web docs : https://developer.mozilla.org/ko/
