Interesting/TIPTECH
검색 로봇 막기
duraboys
2009. 7. 15. 18:46
구글 : Googlebot
네이버: Naverbot
야후: Yahoo! Slurp
엠파스봇: EMPAS.ROBOT
다음: Daumoa-feedfetcher
MSN : MSNBot
첫눈: 1Noonbot 1.0
네이버: Naverbot
야후: Yahoo! Slurp
엠파스봇: EMPAS.ROBOT
다음: Daumoa-feedfetcher
MSN : MSNBot
첫눈: 1Noonbot 1.0
robots.txt
1. 홈페이지 전체 모든 검색엔진 막을때
User-agent: *
Disallow: /
2. 일부 디렉토리만 모든 검색엔진에 보여주고 싶을때
User-agent: *
Disallow: /main/
Disallow: /board/
3. 특정 검색엔진만 막고싶을때
User-agent: Cowbot
Disallow: /
User-agent: *
Disallow:
4. 특정 봇만 허용 하고싶을때
User-agent: Cowbot
Disallow:
User-agent: *
Disallow: /
5. 특정 봇 특정 이미지 못가져가게 막고싶을때
User-agent: Cowbot
Disallow:
User-agent: *
Disallow: /*.gif$
Disallow: /*.jpg
해당 메타 태그를 페이지 상단에 넣을경우 해당 페이지는 검색로봇이 검색하지 않게 됩니다.