Python 웹 스크래핑 실전 가이드 - 사이트별 크롤링 코드 30선 + 트러블슈팅

소개

Python으로 실무에서 바로 쓸 수 있는 웹 스크래핑 기술을 정리한 실전 가이드입니다. requests + BeautifulSoup 기반 크롤링부터 Selenium 동적 페이지 처리까지, 네이버 뉴스/쇼핑/부동산/주식, 쿠팡, KRX, 공공데이터 API 등 실제 사이트별 크롤링 코드 30개를 수록했습니다. 각 코드에는 한국어 주석과 트러블슈팅 팁을 포함하여 초보자도 따라할 수 있도록 구성했습니다. 트러블슈팅 TOP 15, 윤리적 크롤링 가이드, 자동화 파이프라인 구축 프로젝트까지 포함된 18페이지 분량의 전문 자료입니다.

목차

1. 환경 세팅 및 필수 라이브러리
2. requests + BeautifulSoup 기본 패턴
3. 사이트별 크롤링 코드 30선
3-1. 네이버 뉴스/쇼핑/부동산/주식
3-2. 쿠팡 상품 정보
3-3. KRX 시세 데이터
3-4. 공공데이터 API
3-5. 블로그/커뮤니티
4. Selenium 동적 페이지 처리
5. 트러블슈팅 TOP 15
6. 윤리적 크롤링 가이드
7. 자동화 파이프라인 프로젝트

본문내용

1. 시작하기 전에 — 환경 세팅과 마인드셋
웹 스크래핑을 처음 시작할 때 가장 많이 하는 실수가 "일단 코드부터 짜는 것"이다. 브라우저 개발자 도구(F12)를 열어서 Network 탭을 먼저 확인하는 습관을 들여야 한다. 눈에 보이는 HTML을 파싱하는 것보다, 숨겨진 API 엔드포인트를 찾는 게 10배는 효율적이다.

1.1 필수 라이브러리 설치
pip install requests beautifulsoup4 lxml
pip install selenium webdriver-manager
pip install pandas openpyxl # 데이터 저장용
pip install fake-useragent # UA 로테이션

1.2 크롬 개발자 도구 활용법
F12를 누르면 열리는 개발자 도구에서 가장 중요한 탭은 Network이다. XHR/Fetch 필터를 걸어놓고 페이지를 새로고침하면, 실제로 데이터를 가져오는 API 요청이 보인다. 이 URL을 직접 requests로 호출하면 HTML 파싱 없이 JSON으로 깔끔하게 데이터를 받을 수 있다.
예를 들어, 네이버 뉴스 댓글은 겉보기엔 동적 로딩이지만, Network 탭을 보면 https://apis.naver.com/commentBox/... 같은 API를 호출하고 있다. 이걸 발견하면 Selenium 없이도 댓글 수집이 가능하다.

2. requests + BeautifulSoup 기본 패턴
모든 크롤링의 뼈대가 되는 기본 패턴이다. 이 구조를 확실히 이해해야 응용이 가능하다.

참고자료

· 없음