记录一下如何用python爬取app数据,本文以爬取抖音视频app为例。
编程工具:pycharm
app抓包工具:mitmproxy
app自动化工具:appium
运行环境:windows10
思路:
假设已经配置好我们所需要的工具
1、使用mitmproxy对手机app抓包获取我们想要的内容
2、利用appium自动化测试工具,驱动app模拟人的动作(滑动、点击等)
3、将1和2相结合达到自动化爬虫的效果
一、mitmproxy/mitmdump抓包
确保已经安装好了mitmproxy,并且手机和PC处于同一个局域网下,同时也配置好了mitmproxy的CA证书,网上有很多相关的配置教
1