용어 사전 · 수집 · 색인

크롤링이란?

크롤링은 검색엔진의 로봇(Google은 Googlebot, 네이버는 Yeti)이 링크와 사이트맵을 따라 웹페이지를 찾아가 내용을 가져오는 과정입니다.

왜 중요한가

검색엔진은 크롤링한 페이지만 색인할 수 있습니다. 로봇이 찾지 못하거나, robots.txt로 막혀 있거나, 서버 오류로 열리지 않는 페이지는 검색 결과에도 AI 답변에도 나올 수 없습니다.

확인하는 법

  1. Search Console의 URL 검사에서 마지막 크롤링 날짜와 ‘크롤링 허용 여부’를 봅니다
  2. robots.txt가 중요한 경로를 막고 있지 않은지 확인합니다
  3. 새 페이지가 다른 페이지의 링크나 사이트맵에 들어 있는지 확인합니다

예시

Search Console URL 검사에서 sseo.app 홈을 확인한 결과입니다(2026-11-19).

항목결과
마지막 크롤링2026-11-19 13:08 (UTC)
크롤러스마트폰용 Googlebot
robots.txt허용
페이지 가져오기성공

주요 검색 · AI 로봇의 이름입니다. robots.txt에서 이 이름으로 허용 · 차단을 정합니다.

로봇 이름운영
GooglebotGoogle 검색
Yeti네이버 검색
BingbotMicrosoft Bing
OAI-SearchBot · GPTBotOpenAI (ChatGPT)
ClaudeBot · Claude-SearchBotAnthropic (Claude)
PerplexityBotPerplexity

흔한 실수

  1. 링크 없이 버튼 클릭(JavaScript)으로만 열리는 페이지: 로봇이 따라갈 링크가 없습니다
  2. 작은 사이트에서 ‘크롤링 예산’을 걱정하는 것: Google은 크롤링 예산이 주로 페이지가 100만 개 이상인 사이트나, 1만 개 이상이면서 매일 바뀌는 큰 사이트의 문제라고 설명합니다

출처: Google Search Central · 크롤링 예산 관리

자주 묻는 질문

크롤링과 색인은 같은 건가요?

아닙니다. 크롤링은 페이지를 가져가는 것, 색인은 가져간 페이지를 검색 결과에 보여 줄 수 있게 저장하는 것입니다. 크롤링됐어도 색인되지 않을 수 있습니다.

새 페이지를 빨리 크롤링하게 할 수 있나요?

사이트맵에 넣고, 이미 색인된 페이지에서 링크하고, Search Console URL 검사에서 색인을 요청합니다. Bing · 네이버는 IndexNow로도 바로 알릴 수 있습니다.

쎄오의 152가지 작업 중

쎄오는 아래 작업에서 이 항목을 점검하고 고칩니다.

  1. 1번 · 전체 페이지 수집 · 목록 정리
  2. 7번 · robots.txt 점검
  3. 13번 · 깨진 링크 정리
  4. 66번 · AI 검색봇 접근 허용

152가지 작업 전체 보기 →

함께 보면 좋은 것

관련 용어

관련 글 · 서비스

크롤링, 우리 사이트는 괜찮을까요?

무료 AI 노출 진단으로 지금 상태부터 확인해 보세요.

무료 진단 신청 →