152가지 작업 · 66번

66. AI 검색봇 접근 허용

AI 검색봇(GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot 등)이 사이트를 읽을 수 있게 허용하는 작업입니다.

단계 2개월차 사이트 최적화분야 GEO 기반포함 플랜 모든 플랜

왜 필요한가

AI 검색봇이 막혀 있으면 AI 답변이 우리 사이트를 출처로 쓸 수 없습니다.

이렇게 진행합니다

  1. robots.txt에서 AI 검색봇이 막혀 있지 않은지 확인합니다
  2. 방화벽 · 봇 차단 설정이 AI 검색봇을 막지 않는지 확인합니다
  3. 허용 · 차단 정책을 문서로 남깁니다

쓰는 도구

robots.txt · 방화벽 · 봇 차단 로그

흔한 실수

  1. AI 학습을 막으려다 AI 검색봇까지 함께 막는 것
  2. robots.txt는 열어 두고 방화벽에서 봇을 막아 결국 못 들어오게 하는 것

sseo.app에서는

sseo.app의 robots.txt는 GPTBot · OAI-SearchBot · ClaudeBot · PerplexityBot 등 AI 봇을 허용하고, Bytespider만 막습니다.

직접 확인하는 방법

  1. robots.txt에서 GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Google-Extended 같은 이름이 막혀 있는지 봅니다.
  2. CDN · 방화벽(예: Cloudflare의 AI 봇 차단)이 robots.txt와 따로 AI 봇을 막고 있지 않은지 확인합니다.
  3. 막을 봇과 허용할 봇을 목적(학습용 · 검색용)에 따라 정해 robots.txt에 적습니다.

판단 기준

검색용 봇
OAI-SearchBot, PerplexityBot 등은 허용 (막으면 AI 검색 답변에 덜 나옴)
학습용 봇
GPTBot, Google-Extended 등은 회사 방침에 따라
CDN 설정
robots.txt와 같은 방침

출처: OpenAI · 크롤러 안내 · Google · 크롤러 목록 (2026-11-19 확인)

완료 기준

의도한 AI 검색봇이 모두 사이트를 읽을 수 있으면 완료입니다.

Basic · Growth · Pro 모든 플랜에 포함됩니다. 전체 작업 순서는 6개월 진행 계획에 있습니다.

자주 묻는 질문

AI 학습용 봇과 AI 검색봇은 다른가요?

회사마다 용도별로 봇 이름을 나눠 둔 경우가 있습니다. 예를 들어 OpenAI는 GPTBot과 OAI-SearchBot을 따로 둡니다. 정책에 맞게 이름별로 허용 · 차단을 정합니다.

GPTBot을 막으면 ChatGPT 검색에 안 나오나요?

OpenAI는 GPTBot(모델 학습용)과 OAI-SearchBot(ChatGPT 검색용)을 따로 운영한다고 밝혔습니다. GPTBot만 막고 OAI-SearchBot을 허용하면 학습에는 쓰이지 않으면서 검색 답변에는 나올 수 있습니다.

Google-Extended를 막으면 구글 검색에서 빠지나요?

아닙니다. Google은 Google-Extended가 Gemini 등의 학습 사용 여부만 정하고 Google 검색 색인과 순위에는 영향이 없다고 안내합니다.

함께 보면 좋은 것

같은 단계 · 분야의 작업

관련 용어

이 작업, 우리 사이트에는 필요할까요?

무료 AI 노출 진단으로 지금 상태부터 확인해 보세요.

무료 진단 신청 →