SEO에서 크롤링은 검색엔진이 페이지를 가져오는 과정이고, 색인은 가져온 페이지 정보를 검색 결과에 등록하는 과정입니다. 페이지가 보이지 않을 때는 두 상태를 나누어 확인해야 수집 차단, 색인 판단, 대표 주소 선택 중 어디에 원인이 있는지 좁힐 수 있습니다.
- 주소가 발견되었는지, 검색엔진이 실제로 가져갔는지, 색인에 등록했는지를 각각 확인합니다.
- robots 지시와 HTTP 응답은 페이지 접근 및 수집 가능성을 판단하는 단서입니다.
- 사이트맵, 내부 링크, 대표 URL은 페이지 발견과 중복 주소 판단을 함께 살펴볼 때 유용합니다.
1. 크롤링과 색인 상태를 먼저 구분하기
크롤링 문제는 검색엔진이 페이지를 가져오지 못했거나 아직 방문하지 않은 상태이고, 색인 문제는 페이지를 가져간 뒤에도 검색 결과에 등록하지 않은 상태입니다. 크롤링은 페이지 수집 과정이며, 색인은 수집된 정보를 검색 결과에 포함할 대상으로 처리하는 과정입니다. 검색 결과에서 찾을 수 없다는 사실만으로 어느 쪽 문제인지 단정할 수는 없습니다.
주소가 발견되었다는 것은 검색엔진이 사이트맵이나 다른 페이지의 링크 등에서 해당 주소를 알아냈다는 뜻입니다. 발견과 크롤링은 같은 상태가 아니므로, 주소가 알려져 있어도 아직 페이지 내용을 가져오지 않았을 수 있습니다. 반대로 페이지를 가져갔더라도 내용이나 다른 주소와의 관계를 평가한 뒤 색인하지 않을 수 있습니다.
따라서 노출 여부를 확인할 때는 ‘발견됨’, ‘가져감’, ‘색인됨’을 구분해서 기록합니다. 검색 결과에 유사한 페이지가 보이더라도 확인 중인 주소 자체가 색인되었다는 뜻은 아닐 수 있으므로, 주소의 전체 경로와 변형 여부도 함께 비교해야 합니다.
| 확인 상태 | 가능한 해석 | 다음 확인 항목 |
|---|---|---|
| 발견 여부가 불분명함 | 검색엔진이 주소를 아직 알지 못할 수 있음 | 사이트맵과 내부 링크 |
| 가져가지 못함 | 접근 제한이나 서버 응답 문제가 있을 수 있음 | robots 지시와 HTTP 응답 |
| 가져갔지만 색인되지 않음 | 색인 가능 지시나 중복 주소 판단이 영향을 줄 수 있음 | noindex와 대표 URL |
| 다른 주소가 색인됨 | 검색엔진이 다른 주소를 대표로 선택했을 수 있음 | 주소 변형과 canonical |
표의 상태는 원인을 확정하는 판정이 아니라 다음 점검 지점을 정하는 기준입니다. 예를 들어 페이지가 수집되었는데 색인되지 않았다면 사이트맵을 다시 제출하는 데 그치지 말고, 페이지의 색인 허용 지시와 대표 주소가 어떻게 설정되어 있는지 확인해야 합니다.
2. SEO에서 크롤링과 색인은 어떻게 확인하나요?
크롤링과 색인을 구분하려면 먼저 페이지의 접근 가능 여부와 응답 상태를 확인하고, 그다음 수집 및 색인 지시를 점검합니다. robots.txt는 검색엔진 크롤러의 접근을 안내하는 파일이며, 이 파일의 차단 규칙은 페이지 수집에 영향을 줍니다. 페이지를 검색 결과에서 제외하는 지시와는 역할이 다릅니다.
HTTP 응답은 서버가 주소 요청에 돌려주는 결과입니다. 정상적으로 내용을 제공하는 응답인지, 다른 주소로 이동시키는 응답인지, 페이지를 찾을 수 없거나 서버 오류가 발생하는 응답인지에 따라 점검 방향이 달라집니다. 정상 응답을 받는 것만으로 색인이 보장되지는 않으며, 이동 응답이면 최종 도착 주소도 확인해야 합니다.
색인 허용 여부는 페이지의 메타 로봇 지시나 응답 헤더에 설정된 지시에서도 확인할 수 있습니다. noindex는 검색 결과에 포함하지 말라는 지시이므로, 의도하지 않게 적용되었는지 살펴봅니다. 크롤링이 차단되어 페이지 내용을 가져갈 수 없다면 페이지 안의 색인 지시를 검색엔진이 확인하지 못할 수 있으므로 두 설정을 따로 검토해야 합니다.
페이지 상태를 살피는 기술적 점검은 SEO 진단의 한 부분입니다. 확인 결과를 주소별로 기록하면 여러 페이지에서 반복되는 접근 문제와 특정 페이지에만 있는 색인 제한을 구별하기 쉬워집니다.
- 확인할 주소가 실제로 열리고 예상한 페이지를 제공하는지 확인합니다.
- robots.txt에 해당 경로를 막는 규칙이 있는지 확인합니다.
- 페이지의 메타 지시와 응답 헤더에 색인 제외 지시가 있는지 확인합니다.
- 이동 응답이나 오류 응답이 있다면 최종 주소와 서버 상태를 함께 확인합니다.
이 점검은 설정을 무조건 제거하라는 뜻이 아닙니다. 접근 제한이나 색인 제외가 의도된 페이지도 있으므로, 페이지의 목적과 실제 설정을 비교한 뒤 변경 여부를 결정해야 합니다. 사이트 전체에 영향을 줄 수 있는 규칙은 일부 주소만 보고 수정하지 말고 적용 범위를 확인합니다.
3. 사이트맵과 내부 링크로 발견 경로 확인하기
사이트맵은 검색엔진에 사이트의 주요 주소를 알리는 파일이고, 내부 링크는 사이트 안의 한 페이지에서 다른 페이지로 연결하는 링크입니다. 두 요소는 페이지를 발견하는 경로를 확인하는 데 쓰이지만, 주소가 포함되었다고 크롤링이나 색인이 보장되는 것은 아닙니다.
사이트맵에서는 실제로 관리하는 페이지 주소가 포함되어 있는지, 이미 다른 주소로 이동하거나 오류를 반환하는 주소가 남아 있지 않은지 살핍니다. XML 사이트맵에 주소가 있다는 사실과 페이지가 색인 대상이라는 사실은 별개이므로, robots 차단이나 색인 제외 지시가 함께 있는지도 교차 확인합니다.
내부 링크는 검색엔진이 사이트 내에서 페이지를 발견하고 관계를 파악하는 경로가 될 수 있습니다. 다른 페이지에서 연결되지 않는 주소는 사이트맵에만 기재되어 있을 수 있으므로, 해당 페이지로 이어지는 실제 링크가 있는지 확인합니다. 링크의 존재만으로 색인 여부를 단정하지 말고 접근 상태와 함께 살펴야 합니다.
예를 들어 같은 안내 페이지가 주소 뒤에 추적용 값이 붙었는지에 따라 여러 주소로 만들어진다면, 사이트맵과 내부 링크가 서로 다른 주소를 가리키는지 비교할 수 있습니다. 주소가 일치하지 않으면 검색엔진이 어떤 페이지를 발견하고 어떤 주소를 대표로 판단할지 혼선이 생길 수 있으므로, 실제로 사용되는 주소와 연결 관계부터 정리합니다.
사이트맵과 내부 링크의 역할은 서로 대체 관계가 아닙니다. 사이트맵은 주소 목록을 전달하고, 내부 링크는 페이지 간 연결을 제공합니다. 한 경로에만 의존하지 말고 두 경로의 주소가 일관되는지 확인하되, 이미 정상적으로 발견되고 수집되는 페이지라면 불필요하게 주소를 반복 등록하거나 링크를 늘리는 작업부터 시작하지 않습니다.
4. 대표 URL과 중복 페이지를 확인하는 기준
대표 URL은 내용이 같거나 매우 비슷한 여러 주소 가운데 검색엔진이 대표로 다룰 수 있다고 판단하는 주소입니다. canonical은 페이지의 대표 주소를 제안하는 표기이며, 검색엔진이 항상 그 제안을 따르는 것은 아닙니다. 따라서 설정값과 실제로 선택된 주소가 같은지 함께 확인해야 합니다.
중복 주소는 추적 매개변수, 주소 끝의 슬래시, 대소문자 또는 접속 방식 차이 등으로 생길 수 있습니다. 주소 표기가 다르더라도 내용이 같다면 검색엔진이 한 주소를 대표로 선택할 수 있습니다. 확인 중인 주소가 색인되지 않았더라도 유사한 다른 주소가 대표로 처리되었는지 살펴야 하는 이유입니다.
SEO 점검 기록에는 확인한 주소, 응답 결과, 색인 허용 지시, canonical이 가리키는 주소, 사이트맵과 내부 링크의 주소를 나란히 남깁니다. 주소를 비교할 때는 설정값만 보지 말고 실제 이동 후 도착하는 주소와 페이지 내용도 대조합니다. 여러 신호가 서로 다른 주소를 가리키면 먼저 그 불일치가 의도된 것인지 확인합니다.
검색엔진이 제공하는 주소 검사나 색인 보고 기능을 사용하는 경우에도 화면의 상태 하나만으로 원인을 확정하지 않습니다. 보고된 주소와 직접 확인한 응답, robots 지시, 색인 제외 설정을 함께 비교해야 합니다. 도구의 표시 방식이나 제공 항목은 달라질 수 있으므로, 특정 화면 이름보다 확인된 주소와 설정의 관계를 기준으로 판단합니다.
사이트맵에 주소가 있으면 색인되나요?
아니요, 사이트맵 등재는 주소 발견을 도울 뿐 색인 등록을 보장하지 않습니다. 페이지 접근 상태와 색인 지시, 대표 주소 선택도 함께 확인해야 합니다.
robots.txt 차단과 noindex는 같은 의미인가요?
아니요, robots.txt는 크롤러의 접근을 다루고 noindex는 검색 결과 색인 제외를 지시합니다. 두 설정은 확인 위치와 역할이 다르므로 각각 점검해야 합니다.
페이지가 정상 응답하면 검색 결과에 나오나요?
아니요, 정상 응답은 페이지에 접근할 수 있다는 뜻일 뿐 색인 등록을 보장하지 않습니다. 색인 지시와 중복 주소, 대표 URL도 함께 확인해야 합니다.
검색 노출 문제를 진단할 때는 먼저 페이지가 발견되고 수집되는지 확인한 뒤, 응답 상태와 색인 지시를 살핍니다. 그다음 사이트맵과 내부 링크의 주소, 중복 페이지와 대표 URL이 일치하는지 비교하면 원인을 단계적으로 좁힐 수 있습니다.