注册
登录
提问时间:2018/9/19 10:48:50    楼主:未知网友   阅读量:289

我们经常听到别人说抓包什么的,听起来好高端的样子,其实了解了流程也并不难,这里以Charles抓包工具为例进行揭秘。

1、打开界面如下

Python爬虫工程师是如何抓包分析的

2、清除列表,让抓包更清晰

Python爬虫工程师是如何抓包分析的

3、以CSDN博客为例,抓取所需要的包

Python爬虫工程师是如何抓包分析的

4、分析所抓到的包

Python爬虫工程师是如何抓包分析的

5、分析Request

Python爬虫工程师是如何抓包分析的

其中,比较重要的是cookies,网站为了辨别用户身份、进行 session 跟踪而储存在用户本地终端上的数据(通常经过加密)。

6、分析Response

Python爬虫工程师是如何抓包分析的

7、分析Cookies

a、获取Cookie的时候首先需要保证我们的浏览器环境是干净的,这里说的干净其实就是清除当前浏览器保存的Cookie,并重启浏览器。

b、重启之后我们访问CSDN,当前Host的Request中就不包含Cookie,那么Cookie在哪呢,其实细心点的会发现Cookie在Response的Headers->set-cookie中,并在下次请求中使用到。

c、那么当我们登录操作并携带Cookie在请求Headers中,那么登录成功之后该Cookie就会生效。之后我们的所有请求携带该Cookie就会是一个正常的请求,并能拿到需要的结果。

以上就是简单的抓包和分析,看起来其实也很简单的,有兴趣的新手朋友们不妨试试。