注册
登录
提问时间:2018/7/6 14:48:54    楼主:未知网友   阅读量:405

爬虫的固定套路也就那么多,但反爬虫的套路却因不同网站而不同。所以,不同的网站的反反爬虫策略也不一样,这也是令诸多爬虫工程师头疼的问题,不能一劳永逸,只能见招拆招,同时还不能影响爬虫效率。

一、加上headers参数

加headers参数是最基础的爬虫手段,一般都会收集一堆User-Agent,然后随机使用,这样就可以伪装成自然的浏览器用户,蒙混过第一关。反爬策略严格一点的,还得加上其他的参数,比如cookie等。

二、访问页面随机延时

大规模爬虫会访问到很多网页,每个页面的访问时间不能一样,这样很容易被识别。不同的用户访问习惯不同,所用的时间也不相同,所以,为了伪装的更逼真,每访问完一个页面,应该随机延时1-10秒,这样就无迹可寻了。

三、使用代理IP

大规模爬虫使用代理IP是必须的,不然将寸步难行。使用代理IP有两点好处:一是可以降低单IP单位时间内的访问频率,单IP的访问总次数,降低被封危险;二是即使IP被封了,还可以用其他的代理IP继续进行爬虫工作。

四、验证码处理

有的网站当访问次数达到其设定的阈值时就会出现验证码,或者本身就需要验证码登陆,虽然很多编程语言都有自动识别图像的包,但也只能识别最基础最简单的,对于大部分的网站的验证码都无能为力。除非必要尽量不要去触发验证码,万一触发了,也只能找人工打码平台帮忙了。

五、JS代码处理

上面几种反爬策略还好,可以想办法应付,然而最丧心病狂的反爬虫策略莫过于JS代码了,逻辑十分复杂深奥,简直不让人活,遇到这种JS策略,也只能模拟浏览器了。模拟浏览器其实就是一种自动的浏览器访问,与正常的用户访问很类似,所以可以跳过大部分的反爬机制,因为装得实在太像正常用户;不过缺点也很明显,就是慢。

当然,反爬虫策略不仅仅是以上几种,各种各样的反爬机制只有在爬取了各种各样的网站后才能见识到,只要身经百战,何惧反爬机制,破解了各种各样的反爬策略后,才会有一种“与天斗,与人斗,与反爬虫斗,其乐无穷”的境界。