服务器反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站

也想出现在这里？点击联系我~

以下是服务器反爬虫攻略：Apache/Nginx/PHP禁止某些User Agent抓取网站，希望对大家有所帮助。

一、Apache

①、通过修改 .htaccess 文件

修改网站目录下的.htaccess，添加如下代码即可(2 种代码任选)：

可用代码 (1)：

1. RewriteEngineOn
2. RewriteCond%{HTTP_USER_AGENT}(^$|FeedDemon|IndyLibrary|AlexaToolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|MicrosoftURLControl|Swiftbot|ZmEu|oBot|jaunty|Python–urllib|lightDeckReportsBot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)[NC]
3. RewriteRule^(.*)$–[F]

可用代码 (2)：

1. SetEnvIfNoCase^User–Agent$.*(FeedDemon|IndyLibrary|AlexaToolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|MicrosoftURLControl|Swiftbot|ZmEu|oBot|jaunty|Python–urllib|lightDeckReportsBot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)BADBOT
2. OrderAllow,Deny
3. Allowfromall
4. Denyfromenv=BADBOT

②、通过修改 httpd.conf 配置文件

找到如下类似位置，根据以下代码 新增 / 修改，然后重启 Apache 即可：

Shell

1. DocumentRoot/home/wwwroot/xxx
2. <Directory“/home/wwwroot/xxx”>
3. SetEnvIfNoCaseUser–Agent“.*(FeedDemon|IndyLibrary|AlexaToolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|MicrosoftURLControl|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReportsBot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms)”BADBOT
4. Orderallow,deny
5. Allowfromall
6. denyfromenv=BADBOT
7. </Directory>

二、Nginx 代码

进入到 nginx 安装目录下的 conf 目录，将如下代码保存为 agent_deny.conf

1. cd/usr/local/nginx/conf
2. vimagent_deny.conf

1. #禁止Scrapy等工具的抓取
2. if($http_user_agent~*(Scrapy|Curl|HttpClient)){
3. return403;
4. }
5. #禁止指定UA及UA为空的访问
6. if($http_user_agent~*“FeedDemon|IndyLibrary|AlexaToolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|MicrosoftURLControl|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReportsBot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$”){
7. return403;
8. }
9. #禁止非GET|HEAD|POST方式的抓取
10. if($request_method!~^(GET|HEAD|POST)$){
11. return403;
12. }

然后，在网站相关配置中的 location / { 之后插入如下代码：

Shell

1. includeagent_deny.conf;

如下的配置：

Shell

1. [marsge@Mars_Server~]$cat/usr/local/nginx/conf/zhangge.conf
2. location/{
3. try_files$uri$uri//index.php?$args;
4. #这个位置新增1行：
5. includeagent_deny.conf;
6. rewrite^/sitemap_360_sp.txt$/sitemap_360_sp.phplast;
7. rewrite^/sitemap_baidu_sp.xml$/sitemap_baidu_sp.phplast;
8. rewrite^/sitemap_m.xml$/sitemap_m.phplast;

保存后，执行如下命令，平滑重启 nginx 即可：

Shell

1. /usr/local/nginx/sbin/nginx–sreload

三、PHP 代码

将如下方法放到贴到网站入口文件 index.php 中的第一个 <!–?php 之后即可：

PHP

1. //获取UA信息
2. $ua=$_SERVER[‘HTTP_USER_AGENT’];
3. //将恶意USER_AGENT存入数组
4. $now_ua=array(‘FeedDemon‘,‘BOT/0.1(BOTforJCE)’,‘CrawlDaddy‘,‘Java’,‘Feedly’,‘UniversalFeedParser’,‘ApacheBench’,‘Swiftbot’,‘ZmEu’,‘IndyLibrary’,‘oBot’,‘jaunty’,‘YandexBot’,‘AhrefsBot’,‘MJ12bot’,‘WinHttp’,‘EasouSpider’,‘HttpClient’,‘MicrosoftURLControl’,‘YYSpider’,‘jaunty’,‘Python-urllib’,‘lightDeckReportsBot’);
5. //禁止空USER_AGENT，dedecms等主流采集程序都是空USER_AGENT，部分sql注入工具也是空USER_AGENT
6. if(!$ua){
7. header(“Content-type:text/html;charset=utf-8”);
8. die(‘请勿采集本站，因为采集的站长木有小JJ！’);
9. }else{
10. foreach($now_uaas$value)
11. //判断是否是数组中存在的UA
12. if(eregi($value,$ua)){
13. header(“Content-type:text/html;charset=utf-8”);
14. die(‘请勿采集本站，因为采集的站长木有小JJ！’);
15. }
16. }

四、测试效果

如果是 vps，那非常简单，使用 curl -A 模拟抓取即可，比如：

模拟宜搜蜘蛛抓取：

Shell

1. curl–I–A‘YisouSpider’bizhi.bcoderss.com

模拟 UA 为空的抓取：

Shell

1. curl–I–A”bizhi.bcoderss.com

模拟百度蜘蛛的抓取：

Shell

1. curl–I–A‘Baiduspider’bizhi.bcoderss.com