데이터 스트림 분류를 위한 딥러닝 추론 모델의 분산 처리 (Distributed Processing of Deep Learning Inference Models for Data Stream Classification)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 정보과학회논문지 / 48권 / 10호 / 1154 ~ 1165페이지
· 저자명 : 문효종, 손시운, 문양세

초록

다양한 분야에서 데이터 스트림이 생성되고 있으며, 이를 딥러닝에 적용하는 활용 사례가 증가하고 있다. 딥러닝을 사용하여 데이터 스트림을 분류하기 위해서는 서빙(serving)을 통해 모델을 실시간실행시켜야 한다. 이러한 서빙 모델은 gRPC 또는 HTTP 통신으로 인해 데이터 스트림을 분류에 큰 지연시간이 발생한다. 또한, 서빙된 모델이 높은 복잡도를 가지는 스태킹 추론 모델이라면, 데이터 스트림 분류에 더 큰 지연시간이 발생한다. 이를 해결하기 위해, 본 논문에서는 아파치 스톰(Apache Storm)을 사용한 데이터 스트림 분류의 분산 처리 해결책을 제안한다. 첫째, 기존 서빙 방법으로 데이터 스트림을 분류할 때 발생하는 지연시간을 줄이기 위해 아파치 스톰 기반 실시간 분산 추론 기법을 제안한다. 실험 결과, 제안한 분산 추론 기법이 기존 서빙 방법에 비해 최대 11배까지 지연시간을 줄인 것으로 나타났다. 둘째, 스태킹을 적용한 악성 URL 탐지 모델로 URL 스트림을 분류할 때의 지연시간을 줄이기 위해, 네 가지 분산처리 기법을 제안한다. 제안하는 분산 처리 기법은 Independent Stacking, Sequential Stacking, Semi- Sequential Stacking, Stepwise-Independent Stacking이다. 실험 결과, 독립적 수행과 순차적 처리의 특성을 가진 Stepwise-Independent Stacking이 가장 작은 지연시간을 보여, URL 스트림 분류에 가장 적합한 것으로 나타났다.

영어초록

The increased generation of data streams has subsequently led to increased utilization of deep learning. In order to classify data streams using deep learning, we need to execute the model in real-time through serving. Unfortunately, the serving model incurs long latency due to gRPC or HTTP communication. In addition, if the serving model uses a stacking ensemble method with high complexity, a longer latency occurs. To solve the long latency challenge, we proposed distributed processing solutions for data stream classification using Apache Storm. First, we proposed a real-time distributed inference method based on Apache Storm to reduce the long latency of the existing serving method. The present study's experimental results showed that the proposed distributed inference method reduces the latency by up to 11 times compared to the existing serving method. Second, to reduce the long latency of the stacking-based inference model for detecting malicious URLs, we proposed four distributed processing techniques for classifying URL streams in real-time. The proposed techniques are Independent Stacking, Sequential Stacking, Semi-Sequential Stacking, and Stepwise-Independent Stacking. Our study experimental results showed that Stepwise-Independent Stacking, whose characteristics are similar to those of independent execution and sequential processing, is the best technique for classifying URL streams with the shortest latency.

참고자료

· 없음