66. AI 검색봇 접근 허용
AI 검색봇(GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 등)이 사이트를 읽을 수 있게 허용하는 작업입니다.
왜 필요한가
AI 검색봇이 막혀 있으면 AI 답변이 우리 사이트를 출처로 쓸 수 없습니다.
이렇게 진행합니다
- robots.txt에서 AI 검색봇이 막혀 있지 않은지 확인합니다
- 방화벽 · 봇 차단 설정이 AI 검색봇을 막지 않는지 확인합니다
- 허용 · 차단 정책을 문서로 남깁니다
쓰는 도구
robots.txt · 방화벽 · 봇 차단 로그
흔한 실수
- AI 학습을 막으려다 AI 검색봇까지 함께 막는 것
- robots.txt는 열어 두고 방화벽에서 봇을 막아 결국 못 들어오게 하는 것
sseo.app에서는
sseo.app의 robots.txt는 GPTBot · OAI-SearchBot · ClaudeBot · PerplexityBot 등 AI 봇을 허용하고, Bytespider만 막습니다.
직접 확인하는 방법
- robots.txt에서 GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended 같은 이름이 막혀 있는지 봅니다.
- CDN · 방화벽(예: Cloudflare의 AI 봇 차단)이 robots.txt와 따로 AI 봇을 막고 있지 않은지 확인합니다.
- 막을 봇과 허용할 봇을 목적(학습용 · 검색용)에 따라 정해 robots.txt에 적습니다.
판단 기준
- 검색용 봇
- OAI-SearchBot, PerplexityBot 등은 허용 (막으면 AI 검색 답변에 덜 나옴)
- 학습용 봇
- GPTBot, Google-Extended 등은 회사 방침에 따라
- CDN 설정
- robots.txt와 같은 방침
출처: OpenAI · 크롤러 안내 · Google · 크롤러 목록 (2026-11-19 확인)
완료 기준
의도한 AI 검색봇이 모두 사이트를 읽을 수 있으면 완료입니다.
Basic · Growth · Pro 모든 플랜에 포함됩니다. 전체 작업 순서는 6개월 진행 계획에 있습니다.
자주 묻는 질문
AI 학습용 봇과 AI 검색봇은 다른가요?
회사마다 용도별로 봇 이름을 나눠 둔 경우가 있습니다. 예를 들어 OpenAI는 GPTBot과 OAI-SearchBot을 따로 둡니다. 정책에 맞게 이름별로 허용 · 차단을 정합니다.
GPTBot을 막으면 ChatGPT 검색에 안 나오나요?
OpenAI는 GPTBot(모델 학습용)과 OAI-SearchBot(ChatGPT 검색용)을 따로 운영한다고 밝혔습니다. GPTBot만 막고 OAI-SearchBot을 허용하면 학습에는 쓰이지 않으면서 검색 답변에는 나올 수 있습니다.
Google-Extended를 막으면 구글 검색에서 빠지나요?
아닙니다. Google은 Google-Extended가 Gemini 등의 학습 사용 여부만 정하고 Google 검색 색인과 순위에는 영향이 없다고 안내합니다.
함께 보면 좋은 것
같은 단계 · 분야의 작업
관련 용어
이 작업, 우리 사이트에는 필요할까요?
무료 AI 노출 진단으로 지금 상태부터 확인해 보세요.