✅ 왜 크롤러 차단이 중요한가?
대부분의 검색 엔진(구글, 네이버 등)은 정식 로봇을 통해 사이트를 분석합니다.
하지만, 다음과 같은 악성 또는 불필요한 크롤러는 차단이 필요합니다:
- 중국/러시아 IP를 통한 비정상 크롤링
- 콘텐츠 무단 수집 목적 봇
- AI 트레이닝용 크롤러 (예: GPT류 비공식 봇)
- 서버 자원 과소비형 스팸봇
- SEO 툴/가격 수집기/경쟁사 분석기 크롤러
이들은 서버 트래픽을 급증시키고, 사이트 속도를 느리게 하며,
심지어 호스팅 계정 정지 사유가 될 수도 있습니다.
✅ 1단계: 스팸 크롤러 접근 확인 방법
🔍 방법 ① 워드프레스 보안 플러그인 사용
추천 플러그인:
✔️ 기능:
- 실시간 접속 IP 로그
- 의심 접근 차단
- 접속국가/접속빈도 기반 필터링
- Bot / Crawler 식별
🔍 방법 ② 서버 로그 확인 (Apache/Nginx)
서버에 SSH 접속이 가능하다면, 아래 로그를 확인하세요:
sudo tail -f /var/log/apache2/access.log # 또는 sudo tail -f /var/log/nginx/access.log
의심 징후:
- 짧은 시간 내 수백 건의 요청
- User-Agent가 비정상 혹은 “python”, “bot”, “curl”, “AI”, “crawler” 포함
- 특정 IP 대역에서 반복 접근
✅ 2단계: 차단 대상 크롤러/봇 식별하기
❗️ 차단 추천 대상 User-Agent 예시:
User-Agent 포함 키워드설명
| MJ12bot | 상업적 검색 엔진 봇 (마일로) |
| AhrefsBot | 경쟁 분석 툴용 크롤러 |
| SemrushBot | 마케팅 분석 봇 |
| DotBot | 광고봇 |
| Baidu, Yandex | 중국/러시아 검색 엔진 (불필요시 차단 추천) |
| python-requests | 프로그램 크롤링 |
| Scrapy | 웹스크레이핑용 프레임워크 |
✅ 3단계: IP 대역 및 크롤러 차단 방법
✅ 방법 ① .htaccess 파일에서 IP 차단 (Apache 사용자)
<Limit GET POST> Order Allow,Deny Allow from all Deny from 192.168.0.0/24 Deny from 203.0.113.0 </Limit>
✅ 특정 IP 또는 IP 대역을 차단
✅ 반복적으로 유입되는 해외 IP 대역을 방어할 수 있음
✅ 방법 ② robots.txt로 정식 크롤러 제한
User-agent: MJ12bot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: * Disallow: /wp-admin/
⚠️ robots.txt는 선의의 크롤러만 준수합니다.
악성 봇은 이를 무시하므로 보조 수단으로만 사용하세요.
✅ 방법 ③ 보안 플러그인으로 자동 차단
📌 Wordfence 기준:
- Live Traffic → BOT or Crawler 선택
- 차단할 IP 클릭 → “Block IP” or “Block entire IP range”
- 반복 유입 시 → 자동 차단 규칙 설정 (Rate Limiting)
📌 WP Cerber 기준:
- Traffic Inspector → Suspicious Activity 확인
- 일정 횟수 초과 요청 시 자동 차단 설정 가능
✅ 방법 ④ Cloudflare 방화벽 사용 (고급 사용자용)
- 워드프레스 사이트에 Cloudflare 무료 플랜 적용
- Firewall Rules > IP or Country 기반 차단 규칙 설정
- Known Bots 필터 활성화
✔️ 장점: 서버 자원 소모 전에 차단됨
✔️ 단점: 설정이 다소 복잡 (초보자에겐 부담될 수 있음)
✅ 4단계: 추천 실전 조합 전략
목적조치 방법
| 반복 IP 차단 | .htaccess 또는 Wordfence 사용 |
| 특정 국가 IP 전체 차단 | Cloudflare Geo Blocking |
| 비공식 크롤러 차단 | robots.txt + User-Agent 필터링 |
| 실시간 접속 분석 | WP Cerber + Live Traffic 모니터링 |
| 과도한 요청 감지 | 서버 로그 확인 + 속도 저하 알림 설정 |
✅ 참고로 알아둘 것
- 구글봇, Bing봇, 네이버봇 등은 차단하면 절대 안 됩니다.
정상 검색 유입 차단으로 이어질 수 있음 - 단순 IP 차단보다 IP + User-Agent 조합 차단이 더 효과적입니다.
- 반복 공격 시, 클라우드 기반 방화벽 연동을 고려하세요 (예: Sucuri, Cloudflare)
✅ 마무리 요약
핵심 항목요약 설명
| 스팸 크롤링 탐지 | 플러그인 + 서버 로그로 모니터링 |
| 차단 대상 파악 | IP, User-Agent, 국가 기반 분류 |
| 차단 방법 | .htaccess, 보안 플러그인, robots.txt, Cloudflare |
| 추천 툴 | Wordfence, WP Cerber, Cloudflare, Sucuri |
| 주의 |
댓글