반응형
아래의 이유로 검색을 하게 됐다.
티스토리 인덱스 오류 - Indexed, though blocked by robots.txt
구글이나 네이버 같은 곳에서는 검색봇이 돌며 인터넷 게시물을 계속 검색하고 있는데, 관리자가 자신/자사의 게시물은 검색하지 않기를 희망하는 게시물이 있을 것이다. 이때 웹서버 루트에 robots.txt 파일을 만들어 두면 검색 엔진에서 검색 방법을 제안할 수 있다.
- 모든 검색로봇 허용
User-agent: *
Allow: /
- 사이트의 루트만 허용
User-agent: *
Disallow: /
Allow: /$
- 모든 검색 로봇 거부
User-agent: *
Disallow: /
- 네이버 검색로봇만 검색허용
User-agent: *
Disallow: /
User-agent: Yeti
Allow: /반응형
Comment