Edge TPU에서의 실시간성 보장을 위한 실시간 DNN 프레임워크 (Real-time DNN Framework for Real-time Guarantee on Edge TPU)

서지정보

· 발행기관 : 한국차세대컴퓨팅학회
· 수록지 정보 : 한국차세대컴퓨팅학회 논문지 / 18권 / 5호 / 7 ~ 18페이지
· 저자명 : 한창헌, 오상은

초록

최근 심층신경망 (DNN, deep neural network) 알고리즘이 많은 안전필수 실시간 시스템에 적용되기 시작하면서 DNN 추론 태스크의 실행이 주어진 마감 시간 안에 완료되어야 하는 타이밍 요구사항이 중요해졌다. 이를 위해 대부분의 선행 연구들은 DNN의 실시간성을 보장하기 위해 엣지 컴퓨팅 환경에서 GPU나 CPU와 같은 컴퓨팅 자원을 활용하는 것에 초점을 맞춘다. 이에 반면, Edge TPU는 엣지 컴퓨팅을 위한 차세대 인공지능 프로세서로 평가받고 있음에도 불구하고, Edge TPU를 위한 실시간성 보장 연구는 전무한 실정이다. 따라서 본 논문에서는 Edge TPU 환경에서 여러 DNN 추론 태스크들의 타이밍 요구사항을 만족시키는 새로운 실시간 DNN 프레임워크를 제안한다. 이 프레임워크에서는 1) 태스크 마감 시간을 고려하여 SRAM 캐시메모리를 할당하는 기법과 2) 우선순위 역전 현상을 줄이기 위한 모델 분할 기반의 스케줄링 기법을 제공한다. 본 연구에서는 Edge TPU가 장착된 Coral 개발 보드와 이미지 분류 모델들을 이용하여 해당 프레임워크의 성능을 검증하였다. 그 결과 기존 Edge TPU 기반 시스템보다 37%만큼 더 높은 스케줄링 가능성 (scheduablity)를 제공할 수 있음을 보였다.

영어초록

As deep neural networks (DNNs) have been recently deployed in many safety-critical real-time embedded systems, it has become essential to meet timing requirements that DNN inference tasks must complete their execution within given deadlines. To this end, most previous studies focus on utilizing GPU or CPU in edge computing environments to support real-time DNN tasks. Meanwhile, although Edge TPU is regarded as a next-generation AI processor for edge computing, there is a lack of studies on real-time guarantee for Edge TPU. Thus, this paper presents a novel real-time DNN framework that can satisfy the timing requirements of multiple DNN inference tasks in edge TPU environments. This framework provides 1) a cache memory allocation technique that considers the deadline of each task and 2) a scheduling technique based on model segmentation to reduce priority inversion phenomena. We evaluated the performance of our framework by using Google Coral dev board, an embedded board equipped with Edge TPU, and several image classification models. The experiment result shows that our framework can provide higher schedulability by 37% than the existing Edge TPU system.

참고자료

· 없음