实验：CentOS7配置Python爬虫环境.docx，该实验给出了配置Python爬虫环境的详细过程，每一步骤都有文字说明和截图 一、实验目的：熟悉爬虫和Python常用爬虫库，在CentOS7上掌握用于存储爬取的数据的MySQL、MongoDB数据库的配置方法。 二、实验内容：爬虫的原理、Python常用爬虫库、配置MySQL数据库、配置MongoDB数据库 三、实验环境：Google浏览器、CentOS7.5、MySQL8.0.28、MongoDB5.0.6 四、实验步骤 五、实验结果

利用Python爬虫爬取PPT模板 用xpath进行数据解析，只是一个小爬虫，作为自己学习爬虫的一个记录而已，无其他用途

用Python从链家爬取指定城市房价及销售情况， 修改“ url1 = "https://km.fang.lianjia.com/loupan/pg" + str(i) + "/" url2 = "https://km.fang.lianjia.com/loupan/pg" + str(i + 1) + "/"”即可实现爬取不同城市，当前爬取的是昆明市房价。

内附1.程序 2.爬取豆瓣电影Top250数据csv文件

爬虫豆瓣标记“看过”的影视条目信息，包括标题、IMDb ID、打分、标记时间、标签、短评，并制成CSV，可上传至Letterboxd进行同步。 使用方法 方法一 直接使用打包好的main.exe文件 方法二 安装python3环境 pip安装requests、beautifulsoup4和lxml这三个第三方库 运行main.py 流程 图文并茂流程：https://www.douban.com/note/821101672/ 填写豆瓣用户id 填写豆瓣用户cookies 选择对第几页到第几页进行备份 输入文件名创建csv文件 等待抓取结束 打开csv文件，可使用excel打开，将标记时间那一列的单元格格式改为“yyyy-mm-dd” 在Letterboxd的“Settings”选项中，找到“IMPORT & EXPORT”一栏，选择“IMPORT YOUR DATA”，选择csv文件进行上传 根据Letterboxd给出的信息进行细微调整，查缺补漏同步的条目，确认无误后选择“IMPORT FILMS”即可

python网络爬虫【Python+人工智能+大数据分析】 python网络爬虫,用python写网络爬虫,达内智能网络编程,0基础学习,学习智能课,简单好学

利用sorted()函数进行人气值排名，按照关键词k进行检索,通常是将人气值利用正则表达式将数字输出出来，通常取正则表达式输出列表的0号位置置换成浮点型即可，但是随着人气值超过1000万，如1200万人气，在正则表达式输出时会是‘1,200万’，但是此时转换成浮点数，只会输出‘1’，不能识别‘，’后边的‘200万’，采用新方法if()函数使其合理化。

全国各城市公交线路、站点爬取模型 需要一定ARCGis基础，即可爬取全国各城市公交站点、线路，生成.shp文件

Fiddler 抓包工具，手机app Android IOS PC http https访问请求一览

视频来源：https://www.bilibili.com/video/BV12E411A7ZQ?spm_id_from=333.1007.top_right_bar_window_default_collection.content.click