在nginx 里面加上如下代码

location = /robots.txt {
     if ($http_user_agent !~* "spider|bot|Python-urllib|pycurl"){
    return 403;
     }
}

这样的话,蜘蛛正常爬取,其他的打开是403


发表评论

电子邮件地址不会被公开。 必填项已用*标注

跳至工具栏