아래의 이유로 검색을 하게 됐다. 티스토리 인덱스 오류 - Indexed, though blocked by robots.txt 구글이나 네이버 같은 곳에서는 검색봇이 돌며 인터넷 게시물을 계속 검색하고 있는데, 관리자가 자신/자사의 게시물은 검색하지 않기를 희망하는 게시물이 있을 것이다. 이때 웹서버 루트에 robots.txt 파일을 만들어 두면 검색 엔진에서 검색 방법을 제안할 수 있다. 모든 검색로봇 허용 User-agent: * Allow: / 사이트의 루트만 허용 User-agent: * Disallow: / Allow: /$ 모든 검색 로봇 거부 User-agent: * Disallow: / 네이버 검색로봇만 검색허용 User-agent: * Disallow: / User-agent: Yeti ..