반복적으로 웹사이트에서 데이터를 수집하는 작업을 자동화 스크립트로 해결합니다. Playwright를 기본으로 사용하고, 봇 탐지가 있는 사이트에는 undetected-chromedriver를 활용합니다.
2-1. 브라우저 자동화 개념 (15분)
브라우저 자동화란 Python 코드가 브라우저를 대신 조작하는 기술입니다.
| 도구 | 특징 | 추천 사용 상황 |
|---|---|---|
| Playwright | 빠르고 안정적, 구글 공식 지원 | 일반 웹사이트, 로그인 후 데이터 수집 |
| undetected-chromedriver | 봇 탐지 우회에 특화 | 쿠팡·네이버 등 수집 차단이 있는 사이트 |
Cursor로 자동화 스크립트 생성 흐름
📋 한국어 프롬프트
Python과 Playwright를 사용해서
[수집하고 싶은 사이트]에서 로그인 후
[수집할 데이터 항목들]을 가져오는 스크립트를 만들어줘.
결과는 CSV 파일로 저장하고, 파일명에 오늘 날짜를 포함해줘.
2-2. 수집 대상별 방식 가이드 (25분)
수집하려는 플랫폼/사이트의 특성에 따라 방식을 선택합니다.
| 수집 방식 | 적합한 대상 | 주의사항 |
|---|---|---|
| 자동 다운로드 + 파싱 | 엑셀/CSV 내보내기 기능 있는 플랫폼 | 가장 안정적, 우선 시도 |
| 화면 스크래핑 (Playwright) | 다운로드 없는 일반 웹페이지 | 페이지 구조 변경 시 스크립트 수정 필요 |
| undetected-chromedriver | 봇 탐지로 Playwright가 차단되는 경우 | 더 느리지만 탐지 우회 가능 |
| API 연동 | API 키를 제공하는 서비스 | 가장 공식적이고 안정적 |
실습: 기본 수집 스크립트
📋 한국어 프롬프트
Python + Playwright로 [사이트 URL]에 접속해서
아이디 [입력값], 비밀번호 [입력값]으로 로그인한 후
[데이터 항목 1], [데이터 항목 2]를 수집해줘.
수집된 데이터는 data_YYYY-MM-DD.csv 형식으로 저장해줘.
2-2-1. 실습: 홈페이지 첫 화면 데이터 수집
가장 기본적인 실습으로, 로그인이 필요 없는 공개 쇼핑몰 홈페이지의 첫 화면 정보를 Playwright로 수집합니다.
실습 대상: https://15889293.com/ (대천김 쇼핑몰)
Step 1. 홈페이지 파악하기
수집을 시작하기 전에, 대상 사이트의 구조를 먼저 파악합니다.
- 사이트: 대천김 공식 쇼핑몰 (https://15889293.com/)
- 수집 목표: 홈페이지 첫 화면에 노출된 베스트상품 목록 (상품명, 가격)
- 특징: 로그인 불필요, Playwright로 바로 접근 가능한 일반 쇼핑몰
Step 2. Cursor에 프롬프트 입력
📋 프롬프트 (Cursor)
Python + Playwright를 사용해서
https://15889293.com/ 홈페이지에 접속한 후
첫 화면에 표시되는 베스트상품 목록을 수집해줘.
상품명과 가격을 추출해서 CSV 파일로 저장해줘.
파일명은 daechun_best_YYYY-MM-DD.csv 형식으로 만들어줘.
AI가 자동으로 수행하는 작업:
- 패키지 설치:
pip install playwright+playwright install chromium - 스크립트 자동 생성: 브라우저 실행 → 홈페이지 접속 → 상품 정보 추출 → CSV 저장
Step 3. 스크립트 실행 결과
스크립트 실행 후 터미널에 출력되는 예시:
🌐 https://15889293.com/ 접속 중...
📦 베스트상품 수집 중...
[1] 대천김 전통김부각 50g 5봉 — 20,900원
[2] 대천김 재래김 20g 30봉 — 38,000원
[3] 대천김 재래김 20g 10봉 — 17,900원
[4] 곱창캔김 30g 5캔 (실속세트) — 26,000원
[5] 무조미 곱창캔김 선물세트 6캔 — 30,000원
[6] 대천김 명품 곱창캔김 선물세트 — 42,000원
[7] 대천김 곱창김 20g 10봉 — 22,000원
[8] 대천김 명품 곱창캔김 선물세트 30g 15캔 — 67,000원
✅ 완료! daechun_best_2026-03-12.csv 저장됨 (8개 상품)
Step 4. 결과 확인 및 활용
📋 프롬프트
수집된 CSV 파일을 읽어서
상품명, 가격을 깔끔한 HTML 표로 보여줘.
가격이 높은 순으로 정렬해줘.
💡 핵심 포인트: 로그인이 필요 없는 공개 페이지는 Playwright로 빠르게 수집할 수 있습니다. 이 방식은 정기 모니터링(경쟁사 가격 추적, 재고 확인 등)에 활용할 수 있습니다.
2-2-2. 실습: 쿠팡 주문내역 자동 수집
쿠팡은 Akamai 봇 탐지 시스템을 사용해 일반 자동화 도구를 차단합니다. 이 실습에서는 봇 탐지를 우회해 나의 쿠팡 주문내역을 자동으로 수집하는 전 과정을 경험합니다.
Step 1. 기본 접속 시도

📋 프롬프트 (Cursor)
https://www.coupang.com/
id : [email protected]
pass : ●●●●●●●●●● (실습 시 강사가 제공)
로그인을 해서 최근 6개월간 주문내용을 html 파일로 볼 수 있게 해.
처음 시도 시 Akamai 봇 탐지 시스템에 의해 로그인이 차단됩니다. 이때 AI에게 우회 방법을 물어봅니다.
Step 2. 우회 방법 탐색
📋 프롬프트
봇 감지해서 로그인 못하게 하는 것 같아. 이걸 회피할 수 있는 방법이나 플러그인 혹은 도구가 있으면 알려줘.
AI가 제안하는 주요 우회 도구들:
| 도구 | 언어 | Akamai 우회 | 난이도 |
|---|---|---|---|
| undetected-chromedriver | Python | ✅ | ⭐⭐ |
| puppeteer-extra-stealth | Node.js | ✅ | ⭐⭐ |
| playwright-stealth | Python/Node | ⚠️ 부분적 | ⭐⭐⭐ |
| Selenium (기본) | 다수 | ❌ | ⭐ |
가장 현실적인 방법으로 undetected-chromedriver (Python)를 추천받습니다.
Step 3. 스크립트 생성 및 실행
📋 프롬프트
1 으로 해봐.
(“1″은 AI가 제안한 선택지 중 “Python + undetected-chromedriver 스크립트 작성”을 의미)
AI가 자동으로 수행하는 작업:
- 환경 확인: Python 버전, Chrome 버전 체크
- 패키지 설치:
pip install undetected-chromedriver selenium beautifulsoup4 - 스크립트 자동 생성 (
coupang_orders.py): 로그인 → 주문내역 수집 → HTML 저장
💡 Tip: Chrome 버전 불일치 에러 발생 시
SessionNotCreatedException: This version of ChromeDriver only supports Chrome version 146
→ 해결: driver = uc.Chrome(options=options, version_main=145)
스크립트 실행 결과:
[1/4] 로그인 페이지로 이동 중...
→ 이메일 입력 중...
→ 비밀번호 입력 중...
→ 로그인 버튼 클릭...
✓ 로그인 성공!
[2/4] 주문내역 페이지로 이동 중...
[3/4] 주문내역 수집 중 (총 20페이지)...
[4/4] HTML 파일 생성 중...
✅ 완료! HTML 파일이 저장되었습니다
Step 4. 수집 결과 정리
수집된 HTML을 깔끔한 형태로 정리합니다.
📋 프롬프트
수집된 데이터는 간단한 html 형태로 보여주는 단계도 추가해.
주문일, 상품명, 금액, 상태를 깔끔한 표로 정리해줘.
⚠️ 주의사항: 본 실습은 자신의 계정에서만 진행하며, 자동화 스크립트의 무분별한 활용은 서비스 이용약관 위반이 될 수 있습니다.
2-3. 봇 탐지 우회 — undetected-chromedriver (10분)
쿠팡, 네이버 등 주요 플랫폼은 자동화 도구를 탐지해서 접근을 차단합니다. undetected-chromedriver는 일반 ChromeDriver를 사람처럼 위장해 탐지를 우회합니다.
Playwright vs undetected-chromedriver 비교
| 항목 | Playwright | undetected-chromedriver |
|---|---|---|
| 속도 | 빠름 | 보통 |
| 봇 탐지 우회 | 기본 수준 | 높은 수준 |
| 설치 | pip install playwright |
pip install undetected-chromedriver |
| 사용 난이도 | 쉬움 | 약간 복잡 |
| 추천 상황 | 일반 사이트 우선 시도 | Playwright 차단 시 전환 |
전환 프롬프트
📋 한국어 프롬프트 (Cursor에 붙여넣기)
위에서 작성한 Playwright 스크립트가 봇 탐지로 차단됩니다.
undetected-chromedriver를 사용하는 버전으로 변환해줘.
동일한 로그인 및 데이터 수집 기능을 유지해줘.
⚠️ 주의: 자동화 스크립트는 해당 플랫폼의 이용약관을 반드시 확인하세요. 수집 주기를 너무 짧게 설정하면 계정 차단 위험이 있습니다.
2-4. 수집 데이터 CSV 저장 (10분)
수집한 데이터를 CSV 파일로 저장하면 엑셀에서 열거나 다음 분석 단계에서 재활용할 수 있습니다.
📋 프롬프트 (Cursor)
수집된 주문내역 데이터를 CSV 파일로도 저장해줘.
컬럼은 주문일, 상품명, 수량, 금액, 주문상태로 정리해줘.
파일명은 coupang_orders_YYYY-MM-DD.csv 형식으로 저장해줘.
AI가 생성하는 CSV 저장 코드 예시:
import csv
from datetime import datetime
filename = f"coupang_orders_{datetime.now().strftime('%Y-%m-%d')}.csv"
with open(filename, 'w', newline='', encoding='utf-8-sig') as f:
writer = csv.DictWriter(f, fieldnames=['주문일', '상품명', '수량', '금액', '주문상태'])
writer.writeheader()
writer.writerows(orders)
print(f"✅ {filename} 저장 완료 ({len(orders)}건)")
저장 결과:
✅ coupang_orders_2026-03-11.csv 저장 완료 (47건)
💡 Tip: encoding='utf-8-sig' 를 사용하면 한글이 엑셀에서 깨지지 않습니다.
📋 핵심 요약
| 상황 | 도구 | 프롬프트 핵심 |
|---|---|---|
| 일반 웹사이트 수집 | Playwright | “Python + Playwright로 [사이트] 로그인 후 [데이터] 수집” |
| 봇 탐지 차단 시 | undetected-chromedriver | “위 스크립트를 undetected-chromedriver로 변환” |
| 다운로드 파일 파싱 | pandas | “CSV/엑셀 파일을 읽어서 [항목] 추출” |
| 수집 데이터 저장 | csv 모듈 | “수집 결과를 CSV로 저장, 파일명에 날짜 포함” |