6장 크롤링과 색인의 기본을 복구한다

좋은 글도 검색 로봇이 접근하지 못하면 발견되지 않는다. 먼저 브라우저의 시크릿 창에서 로그인 없이 페이지가 열리는지 확인한다. 그다음 robots.txt, noindex, canonical, HTTP 상태 코드를 본다.

발행 페이지는 200을 반환해야 한다. 삭제한 글은 관련 대체 페이지가 있을 때만 적절히 이동하고, 없으면 404 또는 410이 정직하다. 모든 404를 홈으로 보내면 오류를 숨길 뿐이다.

사이트맵은 발견을 돕지만 색인을 보장하지 않는다. canonical은 중복 후보 가운데 대표 URL을 제안할 뿐 명령이 아니다. 렌더링 뒤 본문이 비어 있거나 무한 스크롤 뒤에만 있으면 중요한 정보가 누락될 수 있다.