如何进行手机APP的数据爬取？

Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

python爬虫手机的步骤：Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

1. 下载fiddler抓包工具Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

2. 设置fiddlerGku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

这里有两点需要说明一下。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

设置允许抓取HTTPS信息包Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

操作很简单，打开下载好的fiddler，找到 Tools -> Options，然后再HTTPS的工具栏下勾选Decrpt HTTPS traffic，在新弹出的选项栏下勾选Ignore server certificate errors。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

设置允许外部设备发送HTTP/HTTPS到fiddlerGku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

相同的，在Connections选项栏下勾选Allow remote computers to connect，并记住上面的端口号8888，后面会使用到。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

好了，需要的fiddler设置就配置完成了。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

3. 设置手机端Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

设置手机端之前，我们需要记住一点：电脑和手机需要在同一个网络下进行操作。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

可以使用wifi或者手机热点等来完成。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

假如你已经让电脑和手机处于同一个网络下了，这时候我们需要知道此网络的ip地址，可以在命令行输入ipconfig简单的获得，如图。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

好了，下面我们开始手机端的设置。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

手机APP的抓取操作对于Android和Apple系统都可用，博主使用的苹果系统，在此以苹果系统为例。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

进入到手机wifi的设置界面，选择当前连接网络的更多信息，在苹果中是一个叹号。然后在**下面你会看到HTTP代理的选项，点击进入。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

进入后，填写上面记住的ip地址和端口号，确定保存。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

4. 下载fiddler安全证书Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

在手机上打开浏览器输入一个上面ip地址和端口号组成的url：http://192.168.43.38:8888，然后点击FiddlerRoot certificate下载fiddler证书。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

以上就简单完成了所有的操作，**后我们测试一下是否好用。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

5. 手机端测试Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

就以知乎APP为例，在手机上打开 知乎APP。下面是电脑上fiddler的抓包结果。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台

结果没有问题，抓到信息包。然后就可以使用我们分析网页的方法来进行后续的操作了。Gku少儿编程网-Scratch_Python_教程_免费儿童编程学习平台