반응형
robots.txt로 사이트 검색엔진 탐색 설정
일반 2021. 10. 5. 11:14

아래의 이유로 검색을 하게 됐다. 티스토리 인덱스 오류 - Indexed, though blocked by robots.txt 구글이나 네이버 같은 곳에서는 검색봇이 돌며 인터넷 게시물을 계속 검색하고 있는데, 관리자가 자신/자사의 게시물은 검색하지 않기를 희망하는 게시물이 있을 것이다. 이때 웹서버 루트에 robots.txt 파일을 만들어 두면 검색 엔진에서 검색 방법을 제안할 수 있다. 모든 검색로봇 허용 User-agent: * Allow: / 사이트의 루트만 허용 User-agent: * Disallow: / Allow: /$ 모든 검색 로봇 거부 User-agent: * Disallow: / 네이버 검색로봇만 검색허용 User-agent: * Disallow: / User-agent: Yeti ..

티스토리 인덱스 오류 - Indexed, though blocked by robots.txt
일반 2021. 10. 5. 11:10

오늘 Google Search Console 에서 메일이 왔다. 오류가 있으니 고쳐라 라는 메일인데 "Fix Coverrage issues."를 클릭하여 연결해 보니 오류는 "Indexed, though blocked by robots.txt" 오류이다. 아래 화면은 Validate 요청을 이미 보낸 상태이다. 카카오에 문의해 보신 들이 답변을 받으신 회신을 보면 원인은 관리자 화면 등에 대해 검색 엔진이 시도하다 오류가 난 것으로 보인다고 한다. 그래서 Validate 요청하고 무시하면 될 것 같다고 한다. robots.txt는 아래 링크를 참고한다. robots.txt로 사이트 검색엔진 탐색 설정

반응형