注册会员   登录
2016年6月 代理IP知识问答
像一些大型的网站会有反爬虫策略…比如我之前在爬淘宝评论后很快就会被封,大概是短时间爬太多…有什么好的策略吗?比如代理?不过感觉代理也不能稳定吧… ... 阅读全文
想在新浪微博上爬某个大V的所有微博数据,现在考虑的是用新浪的API来爬(http://open.weibo.com/wiki/2/statuses/user_timeline),但是发现最多只能爬2000条,有什么方法能把所有的数据都爬下来吗?通过模拟登陆? ... 阅读全文
目前我初学爬虫,尽管简单的数据能抓下来,但是看了很多文章,里面有提到一些反爬虫的机制的,比如这两篇:互联网网站的反爬虫策略浅析Python简单抓取原理引出分布式爬虫这里面都提到了用ip来反爬虫,第二篇文章也提到了用代理池来避免,但是还是不大明白,这些代理ip如果用nodejs要怎么弄? ... 阅读全文
在必须要通过代理服务器才能对外访问的网络环境中,只要在iPhone的Wi-Fi接入点中设置了代理服务器,多数应用都是可以顺利访问网络的。但是微信却无法登陆,有相似问题的还有飞信客户端等。个人猜想是因为iPhone接入点中设置的代理是HTTP代理,而微信使用了80/443以外的端口。可是微信内部又没有设置代理服务器连接的地方(与之相对比的是,PC上的QQ,飞信等客户端都有完善的代理服务器设置功能)。请问这样的设计是如何考虑的?近期有无改进的可能? ... 阅读全文
最近在写一个爬淘宝数据的程序,程序放到线上后遇到了问题;如果短时间访问数过大后淘宝需要登录校验。目前能想到的有2个方案:1,使用HTTP代理,更换IP2,突破淘宝登录,完成登录校验困惑:第1点问题在于,代理不稳定,因为淘宝规则原因,代理更换速度太快(使用一会就被屏了),找高质量代理不是很容易。第2点有点困难,因为存在验证码,过验证码不太容易。求高手解答,没有没成熟的解决方案!!! ... 阅读全文
我是一名校园网用户,校园网会禁止学生访问论坛贴吧类的网站,无论是通过ip或者域名都无法访问,后来我想到了代理服务器,但同样是无法访问,可能是学校的监测机制十分强大,不但监测源目的IP,同样检测了数据包中的内容,后来使用了VPN,确实能够成功访问禁止的网站,VPN之所以能访问大概是数据包加密了的缘故吧.最近闲来无事也是本着学习的目的,产生了想做一个加密代理服务器软件冲动.具体通信流程如下,浏览器开启代理,将其产生的http流量发送到本地代理服务器端进行加密后发送到远端代理服务端进行解密。远端代理端请求相应的站点,远端代理将站点发来的数据再次加密后发送到本地代理服务器,本地代理解密后交给浏览器.因此我的需求有:1.本地代理服务器端软件2.远端代理服务端软件3.远端主机用于运行远端代理服务.由于本 ... 阅读全文
参考: 代理服务器根据匿名程度区分[编辑]高度匿名代理高度匿名代理会将我们的数据包原封不动的转发,在服务端看来就好像真的是一个普通客户端在访问,而记录的IP是代理服务器的IP。普通匿名代理普通匿名代理会在数据包上做一些改动,服务端上有可能发现这是个代理服务器,也有一定几率追查到你的真实IP。代理服务器通常会加入的HTTP头有HTTP_VIA和HTTP_X_FORWARDED_FOR 。透明代理透明代理不但改动了我们的数据包,还会告诉服务器你的真实IP。这种代理除了能用缓存技术帮你提高浏览速度,能用内容过滤提高你的安全性之外,并无其他显著作用。(最常见的例子是:内网中的硬件防火墙) ... 阅读全文
现有一个比较混乱的局域网环境,大概描述一下:一个大院,一条光纤接入,光猫不能做路由器使用,所以光猫下连接一台无线路由器做局域网的主路由(主路由wan口固定ip接入外网)主路由下连接一台24口交换机24口交换机下连接若干台式机以及若干(大于5具体不详)个无线路由器,每个无线路由器下连接若干电脑或手机。现在的问题是:台式机使用自动分配ip地址的时候,经常出现ip地址混乱的情况。比如主路由的网关是192.168.1.1,某一个无线路由的网关是192.168.3.1;台式机通过网线接入24口交换机,ip地址却由某一个无线路由器分配。我现在可以操作的是主路由和极少数的无线路由,怎么设置主路由可以保证通过网线连接到主路由的台式机不出现ip地址混乱的情况?有时候突然冒出来一台无线路由器,地址跟主路由冲突, ... 阅读全文
用多个dns服务器查询,结果都是180.149.134.17,不像传统网站根据DNS服务器位置返回不同的结果,那么如何做到分布式部署? ... 阅读全文
因为网络有时不稳定,发现在设定选择栏有一个叫做 http的代理地址,但不知道它的ip和端口,有谁识吗? ... 阅读全文
系统为Ubuntu 14.04 我配置了两个ip地址在同一块网卡上,比如1.2.3.4和192.168.1.253我想让某个端口的数据包走指定的ip地址,比如邮件服务25端口数据包走192.168.1.253。如何设置?背景:主要公司的这个公网联通的路由比较特别,有两个wan ip。公司内部和外联系用一个ip,公司网站用一个ip。我用haproxy做反向代理时发现很多本来应该从公司和外部联系的ip地址的流量居然从公司网站ip地址发出。 ... 阅读全文
如果用 HTML5 写的页面,想兼容 iOS、Android 平台的手机,在 PC 机上看有些效果可能不准确,但不可能在每个移动终端都放上去看下效果吧,一般用什么工具呢?模拟器?有没有更好的工具推荐?我知道可以用 Opera 移动版,还可以用 Safari 修改 UA 成 iPad,Chrome也 中可以设置,你们都是这样测吗? ... 阅读全文
当然这是传言。不过若是真的,会普通网民有什么影响?(重点在于对各种特殊上网技巧的影响) ... 阅读全文
PC端的SS代理可以做到从GFWlist更新PAC文件,但是安卓上貌似没有保持更新的方法,有没有什么软件或方法可以使安卓SS相关软件支持自动或者手动更新PAC文件? ... 阅读全文
首先最自然的想到是通过HttpServletRequest.getRemoteAddr();但是这里存在一个代理问题,即用户通过代理访问,那么这种方法就是获得代理的IP。因此如果某些场景如果对频率有限制,这样可能会造成误伤(使用同一个代理的人因为一个人超过频次限制而全部人被限制访问)。再次通过查找资料方法有类似这样的方法public String getIpAddr(HttpServletRequest request) { if (request.getHeader("x-forwarded-for") == null) { return request.getRemoteAddr(); } return request.getHead ... 阅读全文
152篇,每页15篇   1 2 3 4 5 6 7 ... 11  下一页   刷新
友情链接 (合作QQ207309712):  代理IP知识问答  每日免费代理IP  网站地图


警告:本站不搜集数据不存储数据,也不买卖数据,本站资源仅限用来计算机技术学习参考及大数据应用等合法行为,用户所有操作行为均有日志记录存档并保留6个月,用户若擅自利用本站资源从事任何违反本国(地区)法律法规的活动,由此引起的一切后果与本站无关。

©CopyRight 2012-2018    ICP备案:辽ICP备17012256号-2   增值电信经营许可证:辽B2-20180026   
 
客服QQ:207309712   投诉建议:2219765152    站大爷交流群:417568497    开发者交流群:343030927