注册
登录
提问时间:2019/6/3 14:33:25    楼主:未知网友   阅读量:85

用户:什么代理IP啊,爬某某网站,都是超时和403。

客服:您先用浏览器设置代理访问下某某网站,看看能访问吗。

用户:浏览器怎么设置代理IP。

客服:百度一下“浏览器如何设置代理IP”,不同的浏览器设置方法不一样。

用户:你们站大爷代理IP有没有限制用户访问频率啊?

客服:我们不限制您使用代理IP发送请求的频率,但是,但是目标网站的反爬策略肯定会有限制的,您访问频率过快可能会被目标网站限制IP或者返回403等信息。

用户:但是我用了你们的一手私密代理IP啊。

客服:用了代理IP也不代表可以为所欲为,疯狂的发送请求,依然要遵守目标网站制定的规则,也就是反爬策略。

用户:那这么说,这代理IP还有什么用呢?

客服:代理IP的作用,就是可以让爬虫可持续的进行工作,当一个IP将要或者已经被反爬策略限制时,可以换一个IP继续爬虫工作,也可以使用代理IP多线程同时进行爬虫工作,提高工作效率。

用户:可问题是,现在很多403或者超时。

客服:还是我刚才说的那样,您先用浏览器设置代理IP测试下看看是否可以访问,如果可以正常访问的话,说明代理IP没有问题,可能是您触发了目标网站的反爬策略,比如您的访问频率过快。

用户:那买代理IP有什么作用?

客服:代理IP加上反反爬虫策略,才能持续有效的进行爬虫工作,两者相辅相成,缺一不可。有代理IP,没有反反爬虫策略,再多的代理IP也会被限制,不能完成工作任务;有反反爬虫策略,没有代理IP,当本机IP访问次数达到了目标网站设定的阈值后会被限制,后续也无法完成工作任务。

用户:可问题是你们的ip,出来很多都会超时和 403啊。

客服:发下您使用的代理IP和要访问的网站给我,我这边浏览器设置代理测试下。

用户:***.***.***.***:*****

客服:我这边用浏览器设置代理IP测试了(附加截图),是可以访问目标网站的,也搜索了好多次,都能很快的出结果,这边已经过了四五分钟了,依然可以进行搜索操作,代理IP依然可以正常工作呢,这说明代理IP是可以正常使用的呢。

用户:好吧。

客服:您自己也可以用浏览器设置代理IP测试下,访问下目标网站看看,浏览器设置代理IP可以成功的话,这说明代理IP是没有问题的,有可能是您代码使用代理IP发送请求的时候触发了反爬策略,比如发送请求的频率,当然反爬虫策略不仅限于此,会有很多策略的,不同的网站会有不同的反爬策略。您那边要好好的研究下目标网站的反爬策略,然后制定好反反爬虫策略,再配合代理IP,这样才能顺利的完成爬虫工作任务。