注册会员   登录
2016年6月 代理IP知识问答
像一些大型的网站会有反爬虫策略…比如我之前在爬淘宝评论后很快就会被封,大概是短时间爬太多…有什么好的策略吗?比如代理?不过感觉代理也不能稳定吧… ... 阅读全文
想在新浪微博上爬某个大V的所有微博数据,现在考虑的是用新浪的API来爬(http://open.weibo.com/wiki/2/statuses/user_timeline),但是发现最多只能爬2000条,有什么方法能把所有的数据都爬下来吗?通过模拟登陆? ... 阅读全文
目前我初学爬虫,尽管简单的数据能抓下来,但是看了很多文章,里面有提到一些反爬虫的机制的,比如这两篇:互联网网站的反爬虫策略浅析Python简单抓取原理引出分布式爬虫这里面都提到了用ip来反爬虫,第二篇文章也提到了用代理池来避免,但是还是不大明白,这些代理ip如果用nodejs要怎么弄? ... 阅读全文
在必须要通过代理服务器才能对外访问的网络环境中,只要在iPhone的Wi-Fi接入点中设置了代理服务器,多数应用都是可以顺利访问网络的。但是微信却无法登陆,有相似问题的还有飞信客户端等。个人猜想是因为iPhone接入点中设置的代理是HTTP代理,而微信使用了80/443以外的端口。可是微信内部又没有设置代理服务器连接的地方(与之相对比的是,PC上的QQ,飞信等客户端都有完善的代理服务器设置功能)。请问这样的设计是如何考虑的?近期有无改进的可能? ... 阅读全文
如何实现自动扫描最新可用的http代理ip,软件的原理是什么,怎么实现效率会高点 ... 阅读全文
比如说,我写一个headless browser,每次随机一个时间段,然后随机点击某些章节,相当于可以一直给文章提高点击率。那么问题来了,那些网站有监管机制嘛(比如一个IP点击上限之类的?)?尤其是像晋江这种,我感觉连UI/UX design都没有,服务器也感觉不够用。(嘛,总觉得我要是写个爬虫,分分钟可以进排行榜了啊………(题主只是一个程序员,突发奇想有了疑问,并不是真的要用技术刷分啊………… ... 阅读全文
对比了一下vps+shadowsocks最王道,切换方便,速度可以,支持ipv6,比如说https://bandwagonhost.com/index.php. 这个主机shadowsocks一键配置,多人共享。 ... 阅读全文
最近在写一个爬淘宝数据的程序,程序放到线上后遇到了问题;如果短时间访问数过大后淘宝需要登录校验。目前能想到的有2个方案:1,使用HTTP代理,更换IP2,突破淘宝登录,完成登录校验困惑:第1点问题在于,代理不稳定,因为淘宝规则原因,代理更换速度太快(使用一会就被屏了),找高质量代理不是很容易。第2点有点困难,因为存在验证码,过验证码不太容易。求高手解答,没有没成熟的解决方案!!! ... 阅读全文
我是一名校园网用户,校园网会禁止学生访问论坛贴吧类的网站,无论是通过ip或者域名都无法访问,后来我想到了代理服务器,但同样是无法访问,可能是学校的监测机制十分强大,不但监测源目的IP,同样检测了数据包中的内容,后来使用了VPN,确实能够成功访问禁止的网站,VPN之所以能访问大概是数据包加密了的缘故吧.最近闲来无事也是本着学习的目的,产生了想做一个加密代理服务器软件冲动.具体通信流程如下,浏览器开启代理,将其产生的http流量发送到本地代理服务器端进行加密后发送到远端代理服务端进行解密。远端代理端请求相应的站点,远端代理将站点发来的数据再次加密后发送到本地代理服务器,本地代理解密后交给浏览器.因此我的需求有:1.本地代理服务器端软件2.远端代理服务端软件3.远端主机用于运行远端代理服务.由于本 ... 阅读全文
参考: 代理服务器根据匿名程度区分[编辑]高度匿名代理高度匿名代理会将我们的数据包原封不动的转发,在服务端看来就好像真的是一个普通客户端在访问,而记录的IP是代理服务器的IP。普通匿名代理普通匿名代理会在数据包上做一些改动,服务端上有可能发现这是个代理服务器,也有一定几率追查到你的真实IP。代理服务器通常会加入的HTTP头有HTTP_VIA和HTTP_X_FORWARDED_FOR 。透明代理透明代理不但改动了我们的数据包,还会告诉服务器你的真实IP。这种代理除了能用缓存技术帮你提高浏览速度,能用内容过滤提高你的安全性之外,并无其他显著作用。(最常见的例子是:内网中的硬件防火墙) ... 阅读全文
现有一个比较混乱的局域网环境,大概描述一下:一个大院,一条光纤接入,光猫不能做路由器使用,所以光猫下连接一台无线路由器做局域网的主路由(主路由wan口固定ip接入外网)主路由下连接一台24口交换机24口交换机下连接若干台式机以及若干(大于5具体不详)个无线路由器,每个无线路由器下连接若干电脑或手机。现在的问题是:台式机使用自动分配ip地址的时候,经常出现ip地址混乱的情况。比如主路由的网关是192.168.1.1,某一个无线路由的网关是192.168.3.1;台式机通过网线接入24口交换机,ip地址却由某一个无线路由器分配。我现在可以操作的是主路由和极少数的无线路由,怎么设置主路由可以保证通过网线连接到主路由的台式机不出现ip地址混乱的情况?有时候突然冒出来一台无线路由器,地址跟主路由冲突, ... 阅读全文
用多个dns服务器查询,结果都是180.149.134.17,不像传统网站根据DNS服务器位置返回不同的结果,那么如何做到分布式部署? ... 阅读全文
因为网络有时不稳定,发现在设定选择栏有一个叫做 http的代理地址,但不知道它的ip和端口,有谁识吗? ... 阅读全文
系统为Ubuntu 14.04 我配置了两个ip地址在同一块网卡上,比如1.2.3.4和192.168.1.253我想让某个端口的数据包走指定的ip地址,比如邮件服务25端口数据包走192.168.1.253。如何设置?背景:主要公司的这个公网联通的路由比较特别,有两个wan ip。公司内部和外联系用一个ip,公司网站用一个ip。我用haproxy做反向代理时发现很多本来应该从公司和外部联系的ip地址的流量居然从公司网站ip地址发出。 ... 阅读全文
我在我的vps上面设置了vpn服务器,服务器是windows2003,我设置了vpn nat,我本地端也把在远程网络上使用默认网关 取消了但连接上以后还是显示为本地的ip,怎么办啊 ... 阅读全文
188篇,每页15篇   1 2 3 4 5 6 7 ... 13  下一页   刷新
友情链接 (合作QQ207309712):  每日免费代理IP  代理IP知识问答  网站地图


©CopyRight 2012-2017    ICP备案:辽ICP备17012256号-2   
 
客服QQ:207309712   投诉建议:2219765152    站大爷代理IP交流群:417568497    爬虫开发者交流群:343030927

警告:本站资源仅限用来计算机技术学习参考及大数据爬虫应用等合法行为,用户所有操作行为均有日志记录存档并保留2个月,用户若擅自利用本站资源从事任何违反本国(地区)法律法规的活动,由此引起的一切后果与本站无关。