용어 사전 · 수집 · 색인
robots.txt란?
robots.txt는 사이트 맨 위(/robots.txt)에 두는 텍스트 파일로, 검색 로봇에게 어떤 경로를 크롤링해도 되고 어떤 경로는 오지 말라고 알려 줍니다.
왜 중요한가
관리자 화면이나 검색 결과 페이지처럼 크롤링할 필요가 없는 경로를 막아 로봇이 중요한 페이지에 집중하게 합니다. AI 검색봇(GPTBot, ClaudeBot 등)을 허용할지도 여기서 정합니다.
확인하는 법
- 사이트주소/robots.txt를 열어 Disallow 줄이 중요한 경로를 막고 있지 않은지 봅니다
- Sitemap: 줄에 사이트맵 주소가 있는지 확인합니다
- AI 검색봇을 의도대로 허용 · 차단하고 있는지 확인합니다
예시
sseo.app의 실제 robots.txt 일부입니다. 모든 로봇을 허용하고, AI 검색봇도 명시적으로 허용합니다.
User-agent: *
Allow: /
# AI search and answer engines are welcome here.
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
Sitemap: https://sseo.app/sitemap.xml반대로, 개발 서버에서 쓰던 아래 두 줄이 운영 사이트에 남아 있으면 사이트 전체가 크롤링되지 않습니다.
User-agent: *
Disallow: /흔한 실수
- 검색 결과에서 빼고 싶은 페이지를 robots.txt로 막는 것: robots.txt는 크롤링을 막을 뿐 색인을 막는 장치가 아닙니다. 다른 곳에서 링크되면 주소만 색인될 수 있으니 noindex를 써야 합니다
- robots.txt로 막은 페이지에 noindex를 넣는 것: 로봇이 페이지를 읽지 못해 noindex도 보지 못합니다
- 개발 서버의 ‘Disallow: /’를 그대로 운영 사이트에 올리는 것
자주 묻는 질문
AI 검색봇을 막아야 하나요?
AI 답변에 우리 브랜드가 나오기를 원한다면 막지 않습니다. 쎄오는 AI 검색봇을 허용합니다. Google-Extended를 막아도 Google 검색 노출에는 영향이 없다고 Google은 설명합니다.
robots.txt가 없으면 어떻게 되나요?
검색 로봇은 모든 페이지를 크롤링해도 된다고 보고 진행합니다. 다만 사이트맵 주소를 알려 줄 수 없으므로 간단하게라도 두는 편이 좋습니다.
쎄오의 152가지 작업 중
쎄오는 아래 작업에서 이 항목을 점검하고 고칩니다.
함께 보면 좋은 것
관련 용어
관련 글 · 서비스
robots.txt, 우리 사이트는 괜찮을까요?
무료 AI 노출 진단으로 지금 상태부터 확인해 보세요.