注册
登录
提问时间:2018/9/10 17:10:52    楼主:未知网友   阅读量:296

我们知道,referer的作用就是记录你在访问一个目标网站时,在访问前你的原网站的地址, 比如用Chrome从知乎的某个板块到另外一个,那么你在的这个网站就是原网站,按F12,选中Network选项,从页面内进入一个网站,可以从这个网站的header即头信息中,看到referer就是原来的那个网站。

由于referer是请求网页中,也就是发起HTTP请求中header的一部分,所以可以用来做网页的图片防盗链!比如一个网页的图,想用python下载到自己的电脑里,用urllib.request或者requests第三方库访问图片时,爬不下来, 这是因为python提交request申请的时候,就类似于在浏览器中的空地址栏里键入这个网页然后访问,没有referer,这时网站的设置比如是要求有referer,且referer的网站必须是你进来之前的网站,也就是这个图片的主页。

方法很简单! 既然要求你传入图片主页面的referer,在构造header的时候,传入Referer参数(注意R要大写),它的值为与这个图片链接相关的网站,或者这个图片链接地址的原网站就可以了,听起来很生涩,下面上代码。 


from fake_useragent import UserAgent

                                           

#伪装成浏览器

ua = UserAgent()

headers = {'User-Agent':ua.random} #一般网站伪装成这样也就够了,但是如果想爬图片,图片反盗链的话。如下


#其实很好理解,就是告诉你要下载的那个图片页面,我是从主页面来的,现在把数据给我。

headers = {'User-Agent':ua.random,'Referer':'这里放入图片的主页面'}

#然后在后续requests中传入header即可