반복적으로 웹사이트에서 데이터를 수집하는 작업을 자동화 스크립트로 해결합니다. Playwright를 기본으로 사용하고, 봇 탐지가 있는 사이트에는 undetected-chromedriver를 활용합니다.

2-1. 브라우저 자동화 개념 (15분)

브라우저 자동화란 Python 코드가 브라우저를 대신 조작하는 기술입니다.

도구 특징 추천 사용 상황
Playwright 빠르고 안정적, 구글 공식 지원 일반 웹사이트, 로그인 후 데이터 수집
undetected-chromedriver 봇 탐지 우회에 특화 쿠팡·네이버 등 수집 차단이 있는 사이트

Cursor로 자동화 스크립트 생성 흐름

📋 한국어 프롬프트

Python과 Playwright를 사용해서
[수집하고 싶은 사이트]에서 로그인 후
[수집할 데이터 항목들]을 가져오는 스크립트를 만들어줘.
결과는 CSV 파일로 저장하고, 파일명에 오늘 날짜를 포함해줘.


2-2. 수집 대상별 방식 가이드 (25분)

수집하려는 플랫폼/사이트의 특성에 따라 방식을 선택합니다.

수집 방식 적합한 대상 주의사항
자동 다운로드 + 파싱 엑셀/CSV 내보내기 기능 있는 플랫폼 가장 안정적, 우선 시도
화면 스크래핑 (Playwright) 다운로드 없는 일반 웹페이지 페이지 구조 변경 시 스크립트 수정 필요
undetected-chromedriver 봇 탐지로 Playwright가 차단되는 경우 더 느리지만 탐지 우회 가능
API 연동 API 키를 제공하는 서비스 가장 공식적이고 안정적

실습: 기본 수집 스크립트

📋 한국어 프롬프트

Python + Playwright로 [사이트 URL]에 접속해서
아이디 [입력값], 비밀번호 [입력값]으로 로그인한 후
[데이터 항목 1], [데이터 항목 2]를 수집해줘.
수집된 데이터는 data_YYYY-MM-DD.csv 형식으로 저장해줘.


2-2-1. 실습: 홈페이지 첫 화면 데이터 수집

가장 기본적인 실습으로, 로그인이 필요 없는 공개 쇼핑몰 홈페이지의 첫 화면 정보를 Playwright로 수집합니다.
실습 대상: https://15889293.com/ (대천김 쇼핑몰)

Step 1. 홈페이지 파악하기

수집을 시작하기 전에, 대상 사이트의 구조를 먼저 파악합니다.

  • 사이트: 대천김 공식 쇼핑몰 (https://15889293.com/)
  • 수집 목표: 홈페이지 첫 화면에 노출된 베스트상품 목록 (상품명, 가격)
  • 특징: 로그인 불필요, Playwright로 바로 접근 가능한 일반 쇼핑몰

Step 2. Cursor에 프롬프트 입력

📋 프롬프트 (Cursor)

Python + Playwright를 사용해서
https://15889293.com/ 홈페이지에 접속한 후
첫 화면에 표시되는 베스트상품 목록을 수집해줘.
상품명과 가격을 추출해서 CSV 파일로 저장해줘.
파일명은 daechun_best_YYYY-MM-DD.csv 형식으로 만들어줘.

AI가 자동으로 수행하는 작업:

  • 패키지 설치: pip install playwright + playwright install chromium
  • 스크립트 자동 생성: 브라우저 실행 → 홈페이지 접속 → 상품 정보 추출 → CSV 저장

Step 3. 스크립트 실행 결과

스크립트 실행 후 터미널에 출력되는 예시:

🌐 https://15889293.com/ 접속 중...
📦 베스트상품 수집 중...
  [1] 대천김 전통김부각 50g 5봉 — 20,900원
  [2] 대천김 재래김 20g 30봉 — 38,000원
  [3] 대천김 재래김 20g 10봉 — 17,900원
  [4] 곱창캔김 30g 5캔 (실속세트) — 26,000원
  [5] 무조미 곱창캔김 선물세트 6캔 — 30,000원
  [6] 대천김 명품 곱창캔김 선물세트 — 42,000원
  [7] 대천김 곱창김 20g 10봉 — 22,000원
  [8] 대천김 명품 곱창캔김 선물세트 30g 15캔 — 67,000원
✅ 완료! daechun_best_2026-03-12.csv 저장됨 (8개 상품)

Step 4. 결과 확인 및 활용

📋 프롬프트

수집된 CSV 파일을 읽어서
상품명, 가격을 깔끔한 HTML 표로 보여줘.
가격이 높은 순으로 정렬해줘.

💡 핵심 포인트: 로그인이 필요 없는 공개 페이지는 Playwright로 빠르게 수집할 수 있습니다. 이 방식은 정기 모니터링(경쟁사 가격 추적, 재고 확인 등)에 활용할 수 있습니다.


2-2-2. 실습: 쿠팡 주문내역 자동 수집

쿠팡은 Akamai 봇 탐지 시스템을 사용해 일반 자동화 도구를 차단합니다. 이 실습에서는 봇 탐지를 우회해 나의 쿠팡 주문내역을 자동으로 수집하는 전 과정을 경험합니다.

Step 1. 기본 접속 시도

쿠팡 로그인 화면
쿠팡 로그인 화면 — AI와 함께 자동 로그인 스크립트를 작성합니다

📋 프롬프트 (Cursor)

https://www.coupang.com/
id : [email protected]
pass : ●●●●●●●●●● (실습 시 강사가 제공)
로그인을 해서 최근 6개월간 주문내용을 html 파일로 볼 수 있게 해.

처음 시도 시 Akamai 봇 탐지 시스템에 의해 로그인이 차단됩니다. 이때 AI에게 우회 방법을 물어봅니다.

Step 2. 우회 방법 탐색

📋 프롬프트

봇 감지해서 로그인 못하게 하는 것 같아. 이걸 회피할 수 있는 방법이나 플러그인 혹은 도구가 있으면 알려줘.

AI가 제안하는 주요 우회 도구들:

도구 언어 Akamai 우회 난이도
undetected-chromedriver Python ✅ ⭐⭐
puppeteer-extra-stealth Node.js ✅ ⭐⭐
playwright-stealth Python/Node ⚠️ 부분적 ⭐⭐⭐
Selenium (기본) 다수 ❌ ⭐

가장 현실적인 방법으로 undetected-chromedriver (Python)를 추천받습니다.

Step 3. 스크립트 생성 및 실행

📋 프롬프트

1 으로 해봐.
(“1″은 AI가 제안한 선택지 중 “Python + undetected-chromedriver 스크립트 작성”을 의미)

AI가 자동으로 수행하는 작업:

  • 환경 확인: Python 버전, Chrome 버전 체크
  • 패키지 설치: pip install undetected-chromedriver selenium beautifulsoup4
  • 스크립트 자동 생성 (coupang_orders.py): 로그인 → 주문내역 수집 → HTML 저장

💡 Tip: Chrome 버전 불일치 에러 발생 시

SessionNotCreatedException: This version of ChromeDriver only supports Chrome version 146
→ 해결: driver = uc.Chrome(options=options, version_main=145)

스크립트 실행 결과:

[1/4] 로그인 페이지로 이동 중...
  → 이메일 입력 중...
  → 비밀번호 입력 중...
  → 로그인 버튼 클릭...
  ✓ 로그인 성공!
[2/4] 주문내역 페이지로 이동 중...
[3/4] 주문내역 수집 중 (총 20페이지)...
[4/4] HTML 파일 생성 중...
✅ 완료! HTML 파일이 저장되었습니다

Step 4. 수집 결과 정리

수집된 HTML을 깔끔한 형태로 정리합니다.

📋 프롬프트

수집된 데이터는 간단한 html 형태로 보여주는 단계도 추가해.
주문일, 상품명, 금액, 상태를 깔끔한 표로 정리해줘.

⚠️ 주의사항: 본 실습은 자신의 계정에서만 진행하며, 자동화 스크립트의 무분별한 활용은 서비스 이용약관 위반이 될 수 있습니다.


2-3. 봇 탐지 우회 — undetected-chromedriver (10분)

쿠팡, 네이버 등 주요 플랫폼은 자동화 도구를 탐지해서 접근을 차단합니다. undetected-chromedriver는 일반 ChromeDriver를 사람처럼 위장해 탐지를 우회합니다.

Playwright vs undetected-chromedriver 비교

항목 Playwright undetected-chromedriver
속도 빠름 보통
봇 탐지 우회 기본 수준 높은 수준
설치 pip install playwright pip install undetected-chromedriver
사용 난이도 쉬움 약간 복잡
추천 상황 일반 사이트 우선 시도 Playwright 차단 시 전환

전환 프롬프트

📋 한국어 프롬프트 (Cursor에 붙여넣기)

위에서 작성한 Playwright 스크립트가 봇 탐지로 차단됩니다.
undetected-chromedriver를 사용하는 버전으로 변환해줘.
동일한 로그인 및 데이터 수집 기능을 유지해줘.

⚠️ 주의: 자동화 스크립트는 해당 플랫폼의 이용약관을 반드시 확인하세요. 수집 주기를 너무 짧게 설정하면 계정 차단 위험이 있습니다.


2-4. 수집 데이터 CSV 저장 (10분)

수집한 데이터를 CSV 파일로 저장하면 엑셀에서 열거나 다음 분석 단계에서 재활용할 수 있습니다.

📋 프롬프트 (Cursor)

수집된 주문내역 데이터를 CSV 파일로도 저장해줘.
컬럼은 주문일, 상품명, 수량, 금액, 주문상태로 정리해줘.
파일명은 coupang_orders_YYYY-MM-DD.csv 형식으로 저장해줘.

AI가 생성하는 CSV 저장 코드 예시:

import csv
from datetime import datetime

filename = f"coupang_orders_{datetime.now().strftime('%Y-%m-%d')}.csv"

with open(filename, 'w', newline='', encoding='utf-8-sig') as f:
    writer = csv.DictWriter(f, fieldnames=['주문일', '상품명', '수량', '금액', '주문상태'])
    writer.writeheader()
    writer.writerows(orders)

print(f"✅ {filename} 저장 완료 ({len(orders)}건)")

저장 결과:

✅ coupang_orders_2026-03-11.csv 저장 완료 (47건)

💡 Tip: encoding='utf-8-sig' 를 사용하면 한글이 엑셀에서 깨지지 않습니다.

📋 핵심 요약

상황 도구 프롬프트 핵심
일반 웹사이트 수집 Playwright “Python + Playwright로 [사이트] 로그인 후 [데이터] 수집”
봇 탐지 차단 시 undetected-chromedriver “위 스크립트를 undetected-chromedriver로 변환”
다운로드 파일 파싱 pandas “CSV/엑셀 파일을 읽어서 [항목] 추출”
수집 데이터 저장 csv 모듈 “수집 결과를 CSV로 저장, 파일명에 날짜 포함”