登录 注册 遭到攻击?

网站如何防爬虫?

  • 2020-09-10 10:27:31
  • 浏览 338

1、限制IP地址单位时间的访问次数 

分析:没有哪个常人一秒钟内能访问相同网站5次,除非是程序访问,而有这种喜好的,就剩下搜索引擎爬虫和讨厌的采集器了。 

弊端:一刀切,这同样会阻止搜索引擎对网站的收录 

适用网站:不太依靠搜索引擎的网站 

采集器会怎么做:减少单位时间的访问次数,减低采集效率

2、屏蔽ip 

分析:通过后台计数器,记录来访者ip和访问频率,人为分析来访记录,屏蔽可疑Ip。 

弊端:似乎没什么弊端,就是站长忙了点 

适用网站:所有网站,且站长能够知道哪些是google或者百度的机器人 

采集器会怎么做:打游击战呗!利用ip代理采集一次换一次,不过会降低采集器的效率和网速(用代理嘛)。

3、利用js加密网页内容 

Note:这个方法我没接触过,只是从别处看来 

分析:不用分析了,搜索引擎爬虫和采集器通杀 

适用网站:极度讨厌搜索引擎和采集器的网站 

采集器会这么做:你那么牛,都豁出去了,他就不来采你了

4、利用脚本语言做分页(隐藏分页) 

分析:还是那句,搜索引擎爬虫不会针对各种网站的隐藏分页进行分析,这影响搜索引擎对其收录。但是,采集者在编写采集规则时,要分析目标网页代码,懂点脚本知识的人,就会知道分页的真实链接地址。 

适用网站:对搜索引擎依赖度不高的网站,还有,采集你的人不懂脚本知识 

采集器会怎么做:应该说采集者会怎么做,他反正都要分析你的网页代码,顺便分析你的分页脚本,花不了多少额外时间。

5、防盗链措施 (只允许通过本站页面连接查看,如:Request.ServerVariables(“HTTP_REFERER“) ) 

分析:asp和php可以通过读取请求的HTTP_REFERER属性,来判断该请求是否来自本网站,从而来限制采集器,同样也限制了搜索引擎爬虫,严重影响搜索引擎对网站部分防盗链内容的收录。 

适用网站:不太考虑搜索引擎收录的网站 

采集器会怎么做:伪装HTTP_REFERER嘛,不难。

6、全flash、图片或者pdf来呈现网站内容 

分析:对搜索引擎爬虫和采集器支持性不好,这个很多懂点seo的人都知道 

适用网站:媒体设计类并且不在意搜索引擎收录的网站 

采集器会怎么做:不采了,走人

7、网站随机采用不同模版 

分析:因为采集器是根据网页结构来定位所需要的内容,一旦先后两次模版更换,采集规则就失效,不错。而且这样对搜索引擎爬虫没影响。 

适用网站:动态网站,并且不考虑用户体验。 

采集器会怎么做:一个网站模版不可能多于10个吧,每个模版弄一个规则就行了,不同模版采用不同采集规则。如果多于10个模版了,既然目标网站都那么费劲的更换模版,成全他,撤。

8、采用动态不规则的html标签 

分析:这个比较变态。考虑到html标签内含空格和不含空格效果是一样的,所以<   div >和< div >对于页面显示效果一样,但是作为采集器的标记就是两个不同标记了。如果每次页面的html标签内空格数随机,那么 

采集规则就失效了。但是,这对搜索引擎爬虫没多大影响。 

适合网站:所有动态且不想遵守网页设计规范的网站。 

采集器会怎么做:还是有对策的,现在html cleaner还是很多的,先清理了html标签,然后再写采集规则;应该用采集规则前先清理html标签,还是能够拿到所需数据。

9.使用GOODWAF的防爬虫机制

在GOODWAF的后台勾选防爬虫功能,就能实现对于网站的防爬虫防护。

5f598eb2bcf9a.png

亿林网络SHAREWAF共同研发 黑icp备案B1.B2-20080981-75 黑公网安备 23011002000409号 keywords:云WAF 云WAF

攻击防护热线

您的隐私对我们很重要。