용어 사전 · 수집 · 색인
크롤링이란?
크롤링은 검색엔진의 로봇(Google은 Googlebot, 네이버는 Yeti)이 링크와 사이트맵을 따라 웹페이지를 찾아가 내용을 가져오는 과정입니다.
왜 중요한가
검색엔진은 크롤링한 페이지만 색인할 수 있습니다. 로봇이 찾지 못하거나, robots.txt로 막혀 있거나, 서버 오류로 열리지 않는 페이지는 검색 결과에도 AI 답변에도 나올 수 없습니다.
확인하는 법
- Search Console의 URL 검사에서 마지막 크롤링 날짜와 ‘크롤링 허용 여부’를 봅니다
- robots.txt가 중요한 경로를 막고 있지 않은지 확인합니다
- 새 페이지가 다른 페이지의 링크나 사이트맵에 들어 있는지 확인합니다
예시
Search Console URL 검사에서 sseo.app 홈을 확인한 결과입니다(2026-11-19).
| 항목 | 결과 |
|---|---|
| 마지막 크롤링 | 2026-11-19 13:08 (UTC) |
| 크롤러 | 스마트폰용 Googlebot |
| robots.txt | 허용 |
| 페이지 가져오기 | 성공 |
주요 검색 · AI 로봇의 이름입니다. robots.txt에서 이 이름으로 허용 · 차단을 정합니다.
| 로봇 이름 | 운영 |
|---|---|
| Googlebot | Google 검색 |
| Yeti | 네이버 검색 |
| Bingbot | Microsoft Bing |
| OAI-SearchBot · GPTBot | OpenAI (ChatGPT) |
| ClaudeBot · Claude-SearchBot | Anthropic (Claude) |
| PerplexityBot | Perplexity |
흔한 실수
- 링크 없이 버튼 클릭(JavaScript)으로만 열리는 페이지: 로봇이 따라갈 링크가 없습니다
- 작은 사이트에서 ‘크롤링 예산’을 걱정하는 것: Google은 크롤링 예산이 주로 페이지가 100만 개 이상인 사이트나, 1만 개 이상이면서 매일 바뀌는 큰 사이트의 문제라고 설명합니다
자주 묻는 질문
크롤링과 색인은 같은 건가요?
아닙니다. 크롤링은 페이지를 가져가는 것, 색인은 가져간 페이지를 검색 결과에 보여 줄 수 있게 저장하는 것입니다. 크롤링됐어도 색인되지 않을 수 있습니다.
새 페이지를 빨리 크롤링하게 할 수 있나요?
사이트맵에 넣고, 이미 색인된 페이지에서 링크하고, Search Console URL 검사에서 색인을 요청합니다. Bing · 네이버는 IndexNow로도 바로 알릴 수 있습니다.
쎄오의 152가지 작업 중
쎄오는 아래 작업에서 이 항목을 점검하고 고칩니다.
함께 보면 좋은 것
관련 용어
관련 글 · 서비스
크롤링, 우리 사이트는 괜찮을까요?
무료 AI 노출 진단으로 지금 상태부터 확인해 보세요.