일관된 웹툰 이미지 자동 생성을 위한 텍스트 프롬프트 최적화 기법 (Consistent Webtoon Image Generation based on Text Prompt Optimization)

서지정보

· 발행기관 : 한국정보기술학회
· 수록지 정보 : 한국정보기술학회논문지 / 23권 / 4호 / 21 ~ 26페이지
· 저자명 : 윤지원, 윤서빈, 유석종

초록

최근 웹툰 시장이 급속도로 성장하면서 다양한 텍스트 콘텐츠를 웹툰으로 변환하고자 하는 시도가 이루어지고 있다. 그러나 텍스트의 맥락을 이해하고 이를 시각적으로 일관성 있게 표현하면서 웹툰의 특성을 고려한 자동 생성 시스템에 대한 연구는 아직 미미한 실정이다. 본 논문에서는 다양한 장르의 텍스트를 웹툰으로 자동 변환 생성하기 위한 프롬프트 최적화 시스템을 제안한다. 제안하는 시스템은 GPT-4와 DALL-E 3를 기반으로 하며, CLIP 모델을 활용한 이미지 평가와 프롬프트 개선 메커니즘을 구현하였다. 본 연구는 기존 연구와 달리 CLIP 모델 기반의 정량적 평가 방식을 도입하고, 연속된 이미지 간의 시각적 일관성을 유지하는 메커니즘을 구현하였다.

영어초록

As the webtoon market has grown rapidly, there have been attempts to convert various text content into webtoons. However, research on automated conversion systems that understand the context of text and maintain visual consistency while considering webtoon characteristics remains limited. This paper proposes a prompt optimization system for automatic conversion of diverse text genres into webtoons. The proposed system is based on GPT-4 and DALL-E 3, implementing image evaluation and prompt enhancement mechanisms utilizing the CLIP model. This study differentiates itself from existing research by introducing a CLIP model-based quantitative evaluation method and implementing mechanisms to maintain visual consistency between sequential images.

참고자료

· 없음