서치콘솔을 등록하고 사이트맵도 냈는데, 페이지 색인 생성 보고서를 열면 「색인이 생성되지 않음」이 수십 건 잡혀 있습니다. 이유 목록에는 「크롤링됨 – 현재 색인이 생성되지 않음」처럼 오류인지 아닌지 알 수 없는 말이 섞여 있습니다.
그래서 두 가지 중 하나를 하게 됩니다. 전부 고치려 들거나, 전부 내버려 둡니다.
둘 다 맞지 않습니다. 그 목록에는 고쳐야 하는 것과 그냥 둬도 되는 것이 섞여 있고, 구글이 둘을 나누는 기준을 문서에 적어 두었습니다. 이 글은 그 기준과 점검 순서를 정리했습니다. 서치콘솔 등록과 속성 선택이 아직이시면 구글 서치콘솔 등록 방법을 먼저 보시면 됩니다.
전부 색인되지는 않습니다
이 문장부터 받아들이는 편이 낫습니다. 공식 문서의 「이 보고서를 통해 확인할 사항이 아닌 것」 섹션에 그대로 있습니다.
100% 색인 생성: 사이트의 모든 URL의 색인이 생성될 것이라고 기대해서는 안 됩니다. 위에서 설명된 것과 같이 표준 페이지의 색인만 생성됩니다.
즉시 색인 생성: 새 콘텐츠를 추가하면 Google에서 색인을 생성할 때까지 며칠이 걸릴 수 있습니다.
국내 안내는 대개 미색인을 문제로 가르칩니다. 구글은 처음부터 아니라고 적어 두었습니다.
그래서 보셔야 하는 것은 미색인 건수가 아니라 미색인 이유입니다. 기업 홈페이지에서 미색인으로 잡히는 것 대부분은 아카이브 페이지네이션, 검색 결과 페이지, 작성자 페이지, 지워진 옛 주소입니다. SEO 플러그인이 기본값으로 색인을 막아 둔 것들이고 막아 둔 것이 정상입니다.
반대로 숫자가 적어도 문제인 경우가 있습니다. 제품 상세 열 개 중 셋이 미색인이면 건수는 3이지만 그 셋이 매출과 닿아 있습니다. 중요한 페이지가 들어 있는지를 보는 것이 건수를 보는 것보다 먼저입니다.
세 화면이 각각 다른 시점을 보여줍니다
여기서 가장 많이 틀립니다. 서치콘솔에서 색인을 볼 수 있는 화면이 세 개이고, 세 개가 같은 시점을 보여주지 않습니다.
| 무엇을 보나 | 어느 시점의 상태인가 | 쓸 자리 |
|---|---|---|
| 페이지 색인 생성 보고서 | 집계가 며칠 뒤처진 상태 | 추세와 전체 규모 |
| URL 검사 (기본 화면) | 마지막으로 색인된 버전 — 조회는 즉시, 내용은 과거 | 특정 주소의 현재 색인 상태 |
| 라이브 URL 테스트 | 지금 서버가 돌려주는 것 | 고친 것이 반영됐는지 |
가운데 줄을 특히 보셔야 합니다. URL 검사가 실시간 조회처럼 느껴지지만 공식 문서는 분명히 적고 있습니다.
이 검사는 실시간 테스트가 아닙니다. 표시되는 결과는 웹에서 서비스 중인 버전이 아니라 가장 최근에 색인이 생성된 버전의 결과입니다.
지금 서버가 무엇을 주는지 보려면 「라이브 URL 테스트」를 따로 눌러야 합니다. 방금 `noindex` 를 지웠다면 기본 화면은 아직 지우기 전 상태를 보여줍니다.
보고서 숫자로 지금 상태를 판단하면 틀립니다
보고서는 집계라 며칠 뒤처집니다. 그래서 이런 일이 생깁니다.
저희 고객사 한 곳에서 블로그 URL 구조를 바꾼 뒤 재색인을 지켜보던 중이었습니다. 보고서에는 새 주소로 색인된 글이 2편이라고 나왔는데, URL 검사로 하나씩 넣어 보니 5편이 이미 새 주소로 「URL이 Google에 등록되어 있음」이었습니다. 보고서만 봤다면 진행이 절반도 안 된 줄 알았을 것입니다.
공식 문서도 같은 함정을 적어 두었습니다. 「해결한 문제가 URL에 표시되는 경우에는 해당 URL의 크롤링 날짜를 확인해야 합니다.」 보고서에 남아 있는 문제가 이미 고쳐진 것일 수 있다는 뜻입니다.
한 가지 더 조심할 것이 있습니다. 버킷에 뜬 주소가 지금 쓰는 형태인지 옛 형태인지 보셔야 합니다. 같은 사례에서 「발견됨 – 현재 색인이 생성되지 않음」에 네 건이 잡혀 있었는데, 그 주소들이 전부 옛 형태였습니다. 글이 미색인이라는 뜻이 아니라 옛 주소가 아직 목록에 남아 있다는 뜻이었습니다. 한 번은 저희도 이걸 못 보고 「한 달째 미색인」으로 잘못 읽은 일이 있습니다.
색인이 안 될 때 점검 순서 다섯 단계
특정 글이 검색에 안 나올 때 이 순서로 보시면 범위가 빨리 좁혀집니다.
- 글 제목을 그대로 구글에 검색합니다. 나오면 색인은 끝난 것이고 남은 문제는 순위입니다. 공식 문서도 「URL의 표시 여부를 확실하게 테스트하려면 Google에서 페이지 URL을 검색하세요」라고 안내합니다.
- URL 검사에 그 주소를 넣고 맨 위 상태 라벨을 읽습니다. 「URL이 Google에 등록되어 있음」이면 색인에 있습니다. 「Google에는 아직 알려지지 않은 URL」이면 구글이 그 주소를 본 적이 없다는 뜻이고, 이때는 색인 생성을 요청해야 합니다.
- 「색인 생성 가능 여부」를 펼쳐 두 줄을 봅니다. `크롤링 허용 여부`가 아니오면 robots.txt 가 막고 있습니다. `색인 생성 허용 여부`가 아니오면 `noindex` 태그나 헤더가 있습니다. 이 둘이 서로 다른 문제입니다.
- 고친 뒤 「라이브 URL 테스트」를 누릅니다. 기본 화면은 고치기 전 상태를 계속 보여줍니다.
- 색인 생성을 한 번 요청합니다. 매일 반복할 필요가 없습니다 — 아래에서 따로 봅니다.
2번에서 「등록되어 있음」이 나왔는데도 검색에 안 보이면 색인 문제가 아닙니다. 문서가 짚어 둔 것처럼 그 라벨은 검색결과 표시를 보장하지 않습니다. 그때는 직접 조치 보고서와 보안 문제 보고서를 보고, 그다음은 순위 쪽으로 넘어갑니다. 무엇을 함께 점검해야 하는지는 B2B 기술 SEO 전략에 정리했습니다.
이유를 고칠 것과 둬도 되는 것으로 나눕니다
보고서의 「페이지의 색인이 생성되지 않은 이유」 표가 이 글의 본편입니다. 이유마다 성격이 다릅니다.
| 이유 | 대개 어느 쪽인가 | 볼 것 |
|---|---|---|
| 서버 오류(5xx) | 고친다 | 서버가 왜 500 을 주는지 |
| 리디렉션 오류 | 고친다 | 체인이 길거나 순환하는지 |
| 승인되지 않은 요청(401) · 액세스 금지(403) | 고친다 | 로그인 없이 열리는지 |
| soft 404 | 고친다 | 없는 페이지가 200 을 주고 있는지 |
| 제출된 URL이 다른 4xx 로 차단됨 | 고친다 | URL 검사로 응답 코드 확인 |
| robots.txt 로 차단됨 · NOINDEX 로 표시됨 | 의도면 둔다 | 막으려던 페이지인지 아닌지 |
| 찾을 수 없음(404) | 대개 둔다 | 대체 없이 지운 페이지면 문제가 아니다 |
| 크롤링됨 – 현재 색인이 생성되지 않음 | 대개 둔다 | 중요한 페이지가 섞여 있는지 |
| 발견됨 – 현재 색인이 생성되지 않음 | 대개 둔다 | 며칠 뒤 다시 본다 |
| 대체 페이지 · 중복 페이지 | 대개 정상 | 아래에서 따로 본다 |
| 리디렉션이 포함된 페이지 | 대개 정상 | 옮긴 주소면 그게 맞다 |
출처 열이 나누는 기준
표에 출처(Source) 열이 있습니다. 거의 설명되지 않지만 가장 먼저 봐야 하는 칸입니다.
표에 있는 출처 값은 문제의 원인이 Google인지 웹사이트인지를 보여줍니다. 일반적으로 출처가 ‘웹사이트’로 표시되는 문제만 해결할 수 있습니다.
그리고 우선순위도 문서가 정해 줍니다 — 「유효성 검사 상태가 ‘실패’ 또는 ‘시작되지 않음’이고 출처가 ‘웹사이트’인 문제를 먼저 해결해야 합니다.」
출처가 구글인 항목을 붙들고 있으면 시간만 씁니다. 표를 열면 출처가 웹사이트인 줄부터 보십시오.
크롤링됨 – 현재 색인이 생성되지 않음
가장 많이 오해받는 항목입니다. 구글이 페이지를 가져가 보기는 했는데 색인에는 넣지 않은 상태입니다.
Google은 웹의 모든 페이지의 색인을 생성하지 않으므로 이는 많은 사이트에서 흔히 볼 수 있는 메시지이며 반드시 확인이 필요한 문제를 나타내는 것은 아닙니다.
그래서 건수를 줄이려 애쓸 항목이 아닙니다. 대신 그 목록에 중요한 페이지가 들어 있는지를 보십시오. 제품 상세나 서비스 페이지가 여기 있으면 그건 다른 이야기입니다. 문서도 「중요한 페이지에 이 메시지가 표시되면」 진단하라고 적습니다.
실무에서 이 자리에 자주 오는 것은 내용이 얇은 페이지입니다. 몇 줄짜리 공지, 목록만 있는 페이지, 다른 페이지와 거의 같은 글입니다. 고치는 방법은 기술 설정이 아니라 그 페이지에 읽을 내용을 넣는 쪽입니다.
발견됨 – 현재 색인이 생성되지 않음
이름이 비슷하지만 앞 단계입니다. 아직 크롤링조차 되지 않았습니다.
일반적으로 Google에서 URL을 크롤링하려고 했지만 이로 인해 사이트가 과부하 상태가 될 수 있기 때문에 Google에서 크롤링 일정을 변경한 경우입니다. 그렇기 때문에 보고서에 마지막 크롤링 날짜가 비어 있는 것입니다.
구별하는 방법이 간단합니다. 마지막 크롤링 날짜가 비어 있으면 「발견됨」, 날짜가 있으면 「크롤링됨」입니다.
새 글을 올린 직후라면 며칠 기다리는 것이 맞습니다. 몇 주째 그대로이고 그 주소가 중요하면 서버 응답 속도와 사이트 규모를 봅니다.
중복과 대체 페이지는 대개 정상입니다
이것도 반직관적입니다. 공식 문서는 이렇게 적습니다.
중복 또는 대체로 표시된 페이지가 생기면 Google에서 표준 페이지를 발견하고 색인을 생성했다는 의미이므로 일반적으로 좋은 결과입니다.
세 가지가 비슷한 이름으로 나옵니다.
- 적절한 표준 태그가 포함된 대체 페이지 — 조치할 것이 없습니다
- 사용자가 선택한 표준이 없는 중복 페이지 — 오류가 아닙니다. 구글이 다른 주소를 대표로 골랐다는 뜻입니다
- 중복 페이지, Google에서 사용자와 다른 표준 URL을 선택함 — 이것만 확인이 필요합니다. 내가 지정한 canonical 과 구글이 고른 것이 다릅니다. URL 검사의 「Google에서 선택한 표준 URL」과 「사용자 선언 표준 URL」을 나란히 보면 어디가 다른지 보입니다
리디렉션이 포함된 페이지
주소를 옮긴 뒤라면 이 항목이 늘어나는 것이 정상입니다. 옛 주소가 새 주소로 넘어가고 있다는 기록입니다.
여기에 함정이 하나 있습니다. 문서의 서술입니다 — 「URL 검사 보고서에서 이 URL을 확인할 경우 색인이 생성된 정보가 테스트된 URL에 적용되며 리디렉션은 무시됩니다.」 옛 주소를 넣어 보고 「색인 안 됨」이 나와도 새 주소가 색인되지 않았다는 뜻이 아닙니다. 새 주소 쪽 상태를 보려면 색인 생성 섹션의 검사 버튼을 눌러 넘어가야 합니다.
리뉴얼로 주소를 바꿀 때 무엇을 챙겨야 하는지는 기업 홈페이지 제작 비용 글의 리뉴얼 항목에 정리했습니다.
색인 생성 요청과 수정 결과 확인
두 가지 모두 한 번 누르고 기다리는 것입니다. 반복해 누르면 빨라지지 않습니다.
| 걸리는 시간 | 주의 | |
|---|---|---|
| 색인 생성 요청 | 일반적으로 하루, 최대 1~2주 | 하루 제출 한도가 있다. 요청해도 색인에 들어가지 않을 수 있다 |
| 수정 결과 확인 | 일반적으로 최대 2주 | 성공·실패가 나기 전에 다시 누르지 않는다 |
페이지가 많으면 요청으로 밀지 않습니다. 문서가 다른 길을 적어 두었습니다 — 「다수의 새 페이지 또는 업데이트된 페이지의 색인 생성을 요청하려면 업데이트된 페이지에 `<lastmod>` 로 표시한 사이트맵을 제출하는 것이 가장 좋습니다.」
수정 결과 확인은 꼭 해야 하는 절차가 아닙니다. 「문제를 해결한 후 유효성 검사를 실행하지 않아도 됩니다. 수정 결과 확인을 명시적으로 요청했는지와 관계없이 Google에서는 알려진 문제가 있는 페이지를 크롤링할 때마다 인스턴스 수를 업데이트합니다.」 확인을 거는 값은 메일로 결과를 받고 진행 상황을 추적할 수 있다는 데 있습니다.
확인을 걸 때 한 가지가 중요합니다. 인스턴스를 하나라도 남기면 확인이 중지됩니다. 문서의 표현은 「수정 시 누락되는 경우 해당 문제의 인스턴스가 하나만 남아 있더라도 Google에서 이를 발견하면 확인이 중지됩니다」입니다. 그래서 중요한 페이지만 담은 사이트맵을 따로 제출하고 보고서를 그 사이트맵으로 걸러서 확인을 요청하는 방법을 문서가 권합니다.
사이트맵 필터는 보고서 위쪽 드롭다운에 있고 네 가지입니다 — 알려진 모든 페이지, 제출된 모든 페이지, 제출되지 않은 페이지만, 특정 사이트맵. 「제출되지 않은 페이지만」으로 걸러 보면 사이트맵에 빠진 주소가 드러납니다. 사이트맵 자체가 오류로 읽히지 않는 경우는 따로 다룰 내용이라 여기서는 넣지 않았습니다.
예시 표에는 한계가 있습니다. 1,000행까지만 보여줍니다. 그보다 많으면 전수 목록이 아니라 표본으로 보셔야 합니다.
네이버는 따로 봅니다
서치콘솔에서 색인을 확인해도 네이버 쪽은 알 수 없습니다. 검색엔진마다 도구가 따로 있고 색인 여부도 따로 봅니다. 네이버는 서치어드바이저입니다.
네이버는 단계를 수집·색인·순위 셋으로 나눠 보는 쪽이 빠릅니다. 어디서 막혔는지 확인하는 순서는 네이버 검색 노출이 안 되는 이유와 SEO 점검 방법에 정리해 두었습니다.
미색인이 수십 건인데 정상인가요?
「크롤링됨 – 미색인」과 「발견됨 – 미색인」은 어떻게 다른가요?
보고서 숫자가 안 바뀌는데 고쳐진 건가요?
색인 생성 요청을 매일 누르면 빨라지나요?
「URL이 Google에 등록되어 있음」인데 검색에 안 나옵니다.
중복 페이지로 잡혔는데 고쳐야 하나요?
수정 결과 확인을 꼭 눌러야 하나요?
robots.txt 로 막았는데 색인이 생성됐다고 나옵니다.
참고 자료
- 페이지 색인 생성 보고서 — Google Search Console 도움말
- URL 검사 도구 — Google Search Console 도움말
- Search Console에 웹사이트 또는 플랫폼 속성 추가하기 — Google Search Console 도움말
네이버 검색 노출은 한 번에 결정되는 것이 아니라 수집, 색인, 순위라는 세 단계를 차례로 통과한 결과입니다. 어느 한 단계에서 막히면 그 뒤 단계는 시작조차 되지 않습니다.
검색엔진최적화란, 검색엔진이 내 사이트를 더 잘 찾고 더 신뢰할 만하다고 판단하도록 만드는 작업입니다.