首页 >> 技术文章 >> 详细内容
如何使用伪静态Rewite规则组建拦截蜘蛛访问

在有些时候我们需要在网站中把蜘蛛屏蔽掉,以下为Rewite规则来实现的方法。

在windows系统中,我们通常用Rewite来做伪静态处理,Rewite规则文件是:httpd.conf

#Block spider
RewriteCond %{HTTP_USER_AGENT} "Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot
|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl
|Python|Wget|Xenu|ZmEu" [NC]
RewriteRule !(^/robots\.txt$) - [F]

在liunx系统中,规则文件为:htaccess,必须要我们手工创建.htaccess文件到站点根目录

<IfModule mod_rewrite.c>
RewriteEngine On
#Block spider
RewriteCond %{HTTP_USER_AGENT} "Webdup|AcoonBot|AhrefsBot|Ezooms|EdisterBot|EC2LinkFinder|jikespider|Purebot|MJ12bot
|WangIDSpider|WBSearchBot|Wotbox|xbfMozilla|Yottaa|YandexBot|Jorgee|SWEBot|spbot|TurnitinBot-Agent|mail.RU|curl|perl
|Python|Wget|Xenu|ZmEu" [NC]
RewriteRule !(^robots\.txt$) - [F]
</IfModule>

注:规则中默认屏蔽部分不明蜘蛛,要屏蔽其他蜘蛛按规则添加即可
附各大蜘蛛名字:
google
蜘蛛: googlebot
百度蜘蛛:
baiduspider
yahoo
蜘蛛:
slurp
alexa
蜘蛛:
ia_archiver
msn
蜘蛛:
msnbot
bing
蜘蛛:
bingbot
altavista
蜘蛛:
scooter
lycos
蜘蛛:
lycos_spider_(t-rex)
alltheweb
蜘蛛:
fast-webcrawler
inktomi
蜘蛛:
slurp
有道蜘蛛:YodaoBot
OutfoxBot
热土蜘蛛:
Adminrtspider
搜狗蜘蛛:
sogou spider
SOSO
蜘蛛:
sosospider
360
搜蜘蛛:360spider

另外Isapi_Rewite下载地址为:http://www.467.cn/shownews_366.html

南京服务器托管 | 南京服务器租用 | 南京网站建设 | 南京企业建站 | 南京服务器代维 | 虚拟主机 | 顶级域名 | 网站优化 | 网站推广 | 南京中绘谷网络数据中心467.cn
| 整理发布 | TEL:13913852884,025-58633651,QQ:21390019 

发布者:admin 发布时间:2013-7-17 阅读:2028

Baidu
Copyright © 2002-2020 467.Cn All rights reserved    南京华昊网络技术有限公司    版权所有
备案序号:苏ICP备13052121号    ISP经营许可证:苏B2-20080166    ICP/SP经营许可证:苏B2-20130350      苏公网安备 32011102010099号
地址:南京市江北新区大桥北路77号电信大楼5楼    电话:025-58633651(8线)  13913852884  传真:025-58497310    E-mail:467cn@163.com    邮编:210032
网址:Www.467.Cn    QQ在线支持:点击这里给我发消息 点击这里给我发消息