공공기관 웹기록물 아카이빙을 위한 웹 크롤러 연구 개발 (The Development of Web Crawler for Archiving Public Web Records)

서지정보

· 발행기관 : 한국정보과학회
· 수록지 정보 : 데이타베이스연구 / 25권 / 2호 / 1 ~ 15페이지
· 저자명 : 차승준, 정준선, 이규철

초록

인터넷과 웹은 정보 이용자들이 가장 빠르고 손쉽게 접근할 수 있는 정보매체의 하나이다. 공공기관에서도 웹은 정부와 국민들 간에 자유로운 의사소통을 위해 많이 사용하게 되었다. 웹기록물 역시 공공기관의 업무와 관련되어 생산되는 웹상의 자료를 의미한다. 웹기록물은 아직 수집, 보존, 활용에 대한 방안이 없어서 일정 기간의 서비스가 끝나면 사라져 버리는 문제점이 있다. 이러한 것을 해결하기 위해 웹기록물 아카이빙이 필요하게 되었다. 본 논문의 목표는 웹기록물 아카이빙 절차 중 수집에 사용되는 웹크롤러를 개발하기 위해, 국내외 대표적인 웹크롤러인 Heritrix를 분석하고 국내 웹기록물에 적합하도록 연구 개발하는 것이다. 이를 위해 Heritrix에 대한 기본적인 처리 로직, URI 추출 모듈, 크롤링 프로파일에 대해 연구하였다. 이를 바탕으로 WARC 파일에 대한 빠른 접근을 위해 인덱스 저장기를 개발하였고, 저장된 내용을 원본대로 확인할 수 있는 웹기록물 뷰어를 개발하였다. 또한 직접 전송(Direct transfer)방식을 지원하기 위해 직접 전송 저장기를 개발하였고, 웹사이트의 특성을 파악하기 위해 URL별 필터링 통계 뷰어를 개발하였다. 개발된 시스템은 국내의 세 개의 공공기관을 대상으로 테스트하여 각 홈페이지가 갖는 특성과 문제점 등을 파악할 수 있었다. 이를 통해 홈페이지들이 가지고 있는 특성을 반영할 수 있는 수집정책을 수립할 수 있다.

영어초록

Internet and web sites become one of the most frequently used information media that can access fast and easily for users. Web sites are also used for free communications between the government and the public. Public web records mean the data made in web sites related public institutions’ works. But there is no plan for web records to collect, preserve and utilize, so they are disappeared after service periods. To solve the problem, web records archiving is needed. In this paper we research and develop the web crawler that is used for collecting them in web archiving process. For the sake of it, we analysis the Heritrix, famous web crawler, then regulate for fitting domestic web records. First research basic process logic, URI extraction module and crawling profile defined in the Heritrix, then develop index storage for fast access to WARC file, web records viewer for checking up saved data in its original sight, direct transfer storage for supporting the direct transfer method and filtering statistic viewer by URL for understanding web records’ characteristics. By experiment the developed system using three public web sites as a target, we can get the characteristics and problems at each site. It allows to make a proper collecting policy by reflecting them.

참고자료

· 없음