일반적으로 로봇을 차단하는데 robots.txt를 이용합니다. 하지만 robots.txt 규칙을 무시하는 빌어먹을(??) 봇들이 많습니다. .htaccess를 이용하는 방법도 있습니다. https://github.com/bluedragonz/bad-bot-blocker/blob/master/.htaccess 의 내용을 .htaccess 앞부분에 넣어주면 됩니다. 하지만 제 경우 직접 서버를 운영하면서 여러개의 사이트를 돌리다 보니 모든 사이트마다 .htaccess를 수정하고 또 업데이트 할때마다 수정...