용어 사전 · 수집 · 색인

robots.txt란?

robots.txt는 사이트 맨 위(/robots.txt)에 두는 텍스트 파일로, 검색 로봇에게 어떤 경로를 크롤링해도 되고 어떤 경로는 오지 말라고 알려 줍니다.

왜 중요한가

관리자 화면이나 검색 결과 페이지처럼 크롤링할 필요가 없는 경로를 막아 로봇이 중요한 페이지에 집중하게 합니다. AI 검색봇(GPTBot, ClaudeBot 등)을 허용할지도 여기서 정합니다.

확인하는 법

  1. 사이트주소/robots.txt를 열어 Disallow 줄이 중요한 경로를 막고 있지 않은지 봅니다
  2. Sitemap: 줄에 사이트맵 주소가 있는지 확인합니다
  3. AI 검색봇을 의도대로 허용 · 차단하고 있는지 확인합니다

예시

sseo.app의 실제 robots.txt 일부입니다. 모든 로봇을 허용하고, AI 검색봇도 명시적으로 허용합니다.

User-agent: *
Allow: /

# AI search and answer engines are welcome here.
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /

Sitemap: https://sseo.app/sitemap.xml

반대로, 개발 서버에서 쓰던 아래 두 줄이 운영 사이트에 남아 있으면 사이트 전체가 크롤링되지 않습니다.

User-agent: *
Disallow: /

흔한 실수

  1. 검색 결과에서 빼고 싶은 페이지를 robots.txt로 막는 것: robots.txt는 크롤링을 막을 뿐 색인을 막는 장치가 아닙니다. 다른 곳에서 링크되면 주소만 색인될 수 있으니 noindex를 써야 합니다
  2. robots.txt로 막은 페이지에 noindex를 넣는 것: 로봇이 페이지를 읽지 못해 noindex도 보지 못합니다
  3. 개발 서버의 ‘Disallow: /’를 그대로 운영 사이트에 올리는 것

출처: Google Search Central · robots.txt 소개

자주 묻는 질문

AI 검색봇을 막아야 하나요?

AI 답변에 우리 브랜드가 나오기를 원한다면 막지 않습니다. 쎄오는 AI 검색봇을 허용합니다. Google-Extended를 막아도 Google 검색 노출에는 영향이 없다고 Google은 설명합니다.

robots.txt가 없으면 어떻게 되나요?

검색 로봇은 모든 페이지를 크롤링해도 된다고 보고 진행합니다. 다만 사이트맵 주소를 알려 줄 수 없으므로 간단하게라도 두는 편이 좋습니다.

쎄오의 152가지 작업 중

쎄오는 아래 작업에서 이 항목을 점검하고 고칩니다.

  1. 7번 · robots.txt 점검
  2. 8번 · 사이트맵 주소 선언
  3. 66번 · AI 검색봇 접근 허용

152가지 작업 전체 보기 →

함께 보면 좋은 것

관련 용어

관련 글 · 서비스

robots.txt, 우리 사이트는 괜찮을까요?

무료 AI 노출 진단으로 지금 상태부터 확인해 보세요.

무료 진단 신청 →