注册
登录
提问时间:2018/5/30 14:33:28    楼主:未知网友   阅读量:459

做爬虫的自然希望能抓取的数据尽量多一些,尽量高效一些,然后好做分析,得到自己所需要的;而作为网站主自然希望自己的网站能够正常运行,自己的劳动成果不被他人窃取。于是,爬虫与反爬虫的战争就开始了。

一、IP活动异常

网站主可以通过网站日志看出一些异常访问,比如同一个IP地址发送了许多类似的请求,同一个IP访问的速度反人类,那么网站主就会作出反击。

1、访问速率限制

2、访问多次出现验证码

3、限制此IP访问10分钟

对抗反爬建议:购买代理IP池,降低单IP访问频率和次数。

二、注册和登陆

很多网站或者论坛都有限制,必须注册登录了才能访问某些版块,但是也会防止批量注册和登陆,比如注册需要Email验证或者手机验证,需要通过发送的邮件链接或者手机验证码来激活账户,并且具有唯一性;注册和登陆时还需要填写复杂的验证码等等。

对抗反爬建议:批量注册或者购买账户,模拟登陆,降低频率。

三、使用验证码

验证码可以有效的阻止爬虫,但也会对真实的用户产生不好的体验,比如访问了几个页面就弹出验证码,这是很不友好的。但验证码也是可以批量验证的,网上有很多低报酬的人工打码服务,这里就不多推荐了。

四、文本转图片

有些网站将文字转成了图片来显示,以此来阻止爬虫,这种方法可以阻碍简单的爬虫提取文本,但对于一些屏幕阅读器来说很不友好,比如在电脑上可以看清楚图片中的文字,但在移动手机端看就非常模糊了。

对抗反爬建议:使用OCR图片识别技术

爬虫与反爬虫之间的战争从来没有消停过,是道高一尺还是魔高一丈,且看各自水平。