152가지 작업 · 7번
7. robots.txt 점검
robots.txt 파일이 막지 말아야 할 경로를 막고 있지 않은지, 검색 · AI 로봇을 의도대로 다루는지 확인하는 작업입니다.
왜 필요한가
robots.txt 한 줄 실수로 사이트 전체가 크롤링되지 않을 수 있습니다. AI 검색봇을 막아 두면 AI 답변에도 나오기 어렵습니다.
이렇게 진행합니다
- Disallow 규칙이 중요한 페이지 · 이미지 · CSS를 막지 않는지 봅니다
- Googlebot, Yeti, AI 검색봇 허용 여부를 정책에 맞게 정리합니다
- Search Console robots.txt 보고서에서 오류가 없는지 확인합니다
쓰는 도구
브라우저로 /robots.txt 열기 · Search Console robots.txt 보고서
흔한 실수
- 검색에서 빼고 싶은 페이지를 robots.txt로 막는 것: 색인을 막으려면 noindex를 씁니다
- CSS · JS 경로를 막아 Google이 페이지를 제대로 그리지 못하게 하는 것
sseo.app에서는
sseo.app의 robots.txt는 모든 로봇과 AI 검색봇을 허용하고, Bytespider만 막습니다.
직접 확인하는 방법
- 브라우저에서 사이트주소/robots.txt를 열어 Disallow 줄을 하나씩 읽습니다.
- Search Console의 robots.txt 보고서에서 Google이 마지막으로 가져온 파일과 오류 여부를 봅니다.
- 막힌 경로에 공개 페이지(서비스, 글, 이미지 · CSS · JS)가 들어 있지 않은지 확인합니다.
판단 기준
- 공개 페이지
- Disallow에 걸리지 않음
- 리소스
- CSS · JS · 이미지를 막지 않음 (Google이 페이지를 제대로 그리지 못함)
- 사이트맵
- Sitemap: 줄에 https 사이트맵 주소
출처: Google 검색 센터 · robots.txt 소개 (2026-11-19 확인)
완료 기준
robots.txt가 필요한 경로만 막고, 의도한 로봇을 모두 허용하면 완료입니다.
Basic · Growth · Pro 모든 플랜에 포함됩니다. 전체 작업 순서는 6개월 진행 계획에 있습니다.
자주 묻는 질문
robots.txt로 막으면 검색에서 사라지나요?
아닙니다. 크롤링을 막을 뿐이라, 다른 곳에서 링크되면 주소만 색인될 수 있습니다. 검색에서 빼려면 noindex를 쓰고 크롤링은 허용해야 합니다.
robots.txt로 막으면 검색 결과에서 사라지나요?
아닙니다. robots.txt는 크롤링을 막을 뿐 색인을 막지 않습니다. 다른 곳에서 링크된 주소는 내용 없이 검색 결과에 나올 수 있습니다. 검색 결과에서 빼려면 noindex를 쓰고, 그 페이지는 robots.txt로 막지 않아야 합니다.
함께 보면 좋은 것
같은 단계 · 분야의 작업
관련 용어
이 작업, 우리 사이트에는 필요할까요?
무료 AI 노출 진단으로 지금 상태부터 확인해 보세요.