대규모 넷플로우 데이터 분석을 위한 룰 기반 맵리듀스 아키텍쳐 (A Rule-based MapReduce Architecture for Analyzing a Large Volume of NetFlow Data)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 : 정보통신 / 40권 / 6호 / 303 ~ 311페이지
· 저자명 : 이연희, 이영석

초록

넷플로우는 가장 보편적인 네트워크 트래픽 모니터링 및 분석을 위한 축약 기술로서 다양한 분석 툴들이 개발되어 왔다. 본 논문에서는 대규모 넷플로우에 대한 다양한 분석을 위하여 하둡 분산환경에서의 플로우 통계과 이상탐지를 위한 단일의 맵리듀스 룰 구조를 설계하고, 이를 이용한 분석과 침입탐지의 맵리듀스 방법을 제안한다. 본 논문에서 제안한 룰 기반 플로우 분석 방법의 범용성을 검증하기 위하여 대규모 네트워크 모니터링을 위한 CERT NetSA의 보안 툴인 SiLK 룰으로의 변환방법을 제시한다. 실험을 통해 우리가 제안한 룰 기반의 분석 방법이 시스템의 처리성능과 분석기능의 확장을 쉽게 달성할 수 있음을 확인한다. 본 연구는 하둡 기반의 IDS 시스템을 위한 토대로서, 향후 하둡 클러스터를 이용한 통합 네트워크 보안 솔루션으로 발전할 수 있을 것으로 기대한다.

영어초록

NetFlow has been widely adopted for network monitoring and analysis. In this paper, we propose a MapReduce-oriented rule structure for calculating statistics and detecting anomalies from NetFlow data, and present a unified MapReduce job architecture for one-pass analytics using rulesets. By applying our proposal to the SiLK, a CERT NetSA security suite for large-scale network monitoring we show that our rule-based MapReduce approach is easily deployed for managing lots of flow data. From the evaluation with a Hadoop testbed, we confirm that our rule-based MapReduce approach is a scalable and practical solution for analyzing a large volume of NetFlow.

참고자료

· 없음