注册会员   登录
代理IP知识问答
如何设计一个优秀的代理IP池?
提问时间:2016/9/21 20:44:04    楼主:未知网友   阅读量:3995
用户分布式爬虫
想构建一个随机代理
1楼(未知网友)

难的是怎么找http或者socks代理,你用什么数据库都行,mysql,mongodb或者redis,就是简单存一个ip和port的地址,然后需要写个简单函数获取就行了。代理通过抓取免费代理,购买代理(购买的代理有很多提供了接口),或者用tor不断更换ip。我最近就是抓xici和kuaidaili这两个网站的代理存储到mongodb,然后再用一个并发爬虫用来验证代理能不能用。写了俩脚本用crontab定期跑,一个每十分钟抓一次代理存储到mongodb,一个脚本每5分钟刷一遍数据库踢出不可用代理。爬虫根据代理速度随便从数据库返回一个用。
可靠的代理还是付费比较靠谱,付费代理一般还直接提供了api,调用一下就返回代理ip列表。
2楼(未知网友)

站大爷私密代理(http://ip.zdaye.com/SimiProxy.html)已经帮你做了你想做的,代理IP丰富、服务稳、速度快,支持HTTP/HTTPS。
3楼(未知网友)

用redis 强过自己造轮子。
友情链接 (合作QQ207309712):  代理IP知识问答  每日免费代理IP  免费代理IP  网站地图


警告:本站不搜集数据不存储数据,也不买卖数据,本站资源仅限用来计算机技术学习参考及大数据应用等合法行为,用户所有操作行为均有日志记录存档并保留6个月,用户若擅自利用本站资源从事任何违反本国(地区)法律法规的活动,由此引起的一切后果与本站无关。

©CopyRight 2012-2018    ICP备案/ICP经营许可证:辽B2-20180026   VPN经营许可证:B1-20181940   
 
客服QQ1:1806511756  客服QQ2:207309712   投诉建议:2219765152    站大爷交流群:417568497    开发者交流群:343030927