robots.txt 로봇방지하면 좋은점과 나쁜점은?? 정보
robots.txt 로봇방지하면 좋은점과 나쁜점은??본문
robots.txt를 작성하여 서버에 업로드하니깐, 확실히 차단되네요..
robots.txt 하면..검색엔진에 등록되어있는데, (네이버 등..) 영향력 있습니까??
댓글 전체
robots.txt를 삽입하면 성인광고 글등이 로봇으로 등록 되는 현상을 막을수 있어서 좋구요
단점은 글쓸때 귀찬다는 거 정도 겠네요.
단점은 글쓸때 귀찬다는 거 정도 겠네요.
검색엔진이 사이트 정보를 수집할 수 없기 때문에
검색엔진을 통한 사이트 방문객이 많이 줄어들게 됩니다.
검색엔진을 통한 사이트 방문객이 많이 줄어들게 됩니다.
'로봇배제 표준'을 따른다는 가정이 붙어야 겠지요.
스팸을 목적으로 하는 대부분의 로봇은 '로봇배제 표준'을 지키지 않는 것으로 알고 있습니다.
모음형 검색(메타검색과는 다른 의미)을 서비스(?!)하면서 포털사이트를 표방하는
대부분의 사이트 또한 '로봇배제 표준'을 준수하지 않고 있으며,
검색엔진을 가동하는 구글, 네이버 등 대표적인 (포털)사이트는 '로봇배제 표준'을 지킨다고 합니다.
('네이버'의 경우는 정말로 '로봇배제 표준'을 따르는지 미심쩍습니다만...)
스팸을 목적으로 하는 대부분의 로봇은 '로봇배제 표준'을 지키지 않는 것으로 알고 있습니다.
모음형 검색(메타검색과는 다른 의미)을 서비스(?!)하면서 포털사이트를 표방하는
대부분의 사이트 또한 '로봇배제 표준'을 준수하지 않고 있으며,
검색엔진을 가동하는 구글, 네이버 등 대표적인 (포털)사이트는 '로봇배제 표준'을 지킨다고 합니다.
('네이버'의 경우는 정말로 '로봇배제 표준'을 따르는지 미심쩍습니다만...)
