구글오류 ‘색인이 생성되었으나 robots.txt에 의해 차단됨’ 해결 끝

여기 루루팁 티스토리블로그를 구글 서치콘솔에 등록하고 약 이틀이 지났을까.

 

'웹사이트의 구글 검색 노출수가 수집되기 시작했습니다' 라는 기분좋은 메일도 받았습니다.

 

이런 메일도 온다

 

그런데 하루가 지나니 메일이 또 와있더군요.

 

 

헛 이건 뭐지

“색인 생성 범위 문제가 발견되었습니다” 라는 구글의 긴급(해보이는) 메시지가 메일로 와있더군요. 뭔가 빨리 조치를 취해야 하는건 아닌지 더 자세히 살펴봅니다.

 

 

해결방법을 알려드립니다.

 

사이트에서 발견된 경고는 다음과 같습니다.

 

색인이 생성되었으나 robots.txt에 의해 차단됨

 

분석하면, 구글 검색엔진에서 자신의 티스토리블로그가 노출 될 수 있도록 색인을 생성했으나 검색하려고 들어가려니 로봇이 막았다는 얘기입니다.

 

로봇이 무엇을 막았다는 것인지 메일에 있는 [색인 생성 범위 문제 해결하기] 를 클릭합니다.

 

클릭하면 자동으로 구글서치콘솔 색인생성범위 페이지로 연결됩니다

 

 

영향을 받은 페이지가 2개임을 확인하고 아래로 내려봅니다

 

 

두 페이지 모두 manage 위치임을 확인합니다

 

카테고리 /manage 는 관리자 메뉴의 위치인데요. 티스토리블로그를 방문하는 사람은 접근할 수 없는 곳입니다.

 

즉, 방문자수나 글 조회수와 상관이 없는 위치의 카테고리입니다.

 

그래도 오류라고 하니 더 알아봅니다. 차단된 이유가 robots.txt 라고 하는데 익숙한 이 이름은 어디서  본것 같지 않나요?

 

네, 맞습니다. 네이버 서치어드바이저 웹마스터도구에서 활용되는 검색로봇입니다.

 

바로 들어가 확인해봅니다.

 

웹마스터도구 - 검증 - robots.txt 메뉴로 들어갑니다

 

수집된 로봇의 최신정보가 담겨있는데요. 로봇이 접근할 수 있는 페이지를 설정해준 내용입니다.

자세히 들여다보니 Disallow: /manage 라고 되어있는 것을 확인할 수 있습니다.

 

네이버의 검색로봇 설정에 따라 관리자페이지(/manage)는 검색하지 않도록 막아 두어 차단이 발생하였고 구글 검색로봇은 이것을 차단오류라고 통보한 것으로 보입니다.

 

무슨 큰일이 난줄 알고 식겁했는데 다행히 별 문제가 아니었습니다. 
저처럼 너무 놀래지 마시고 즐거운 블로그 포스팅하세요!