2020年3月14日
任务介绍
此次爬虫任务为“爬取新房销售信息”，获取楼盘名、地址、价格的简单信息，我选取的城市是“赣州”，尝试过安居客、房天下等几个房屋信息网站，安居客有反爬措施，由于是新手比较怂就果断避开了，从信息量来看房天下-赣州符合我的需要，且对新手比较友好，所以选择房天下为对象进行爬虫。
由于信息均为文本，选择保存为csv格式，便于后续读取和分析。
环境准备
我用的是Anaconda3的环境和PyCharm这种IDE工具，首先需要装载此次任务需要用到的函数库：Requests、bs4（BeautifulSoup4）、csv来实现以下功能：
爬取网页内容；
快速定位并获取想要的文本内
2021-12-27 18:01:38
731KB
1
主要介绍了Python基于requests实现模拟上传文件,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
2021-12-26 11:17:35
147KB
1
LIANJIA-data-analysis
链家广州二手房爬虫-数据分析-可视化
使用requests + pandas进行数据获取
分析各区房价情况（平均值-最大值）
分析房价总价分布情况
分析房间类型受关注情况
分析朝向单价影响程度
分析标签词云
分析二手房频次地理热力图
2021-12-24 16:22:01
1.49MB
1
一，cookie和session的区别
cookie在客户的浏览器上，session存在服务器上
cookie是不安全的，且有失效时间
session是在cookie的基础上，服务端设置session时会向浏览器发送设置一个设置cookie的请求，这个cookie包括session的id当访问服务端时带上这个session_id就可以获取到用户保存在服务端对应的session
二，爬虫处理cookie和session
带上cookie和session的好处：
能够请求到登录后的界面
带上cookie和session的弊端：
一个cookie和session往往和一个用户对应，访问太快容易被
2021-12-24 13:44:56
49KB
1
python3 自研发的api接口自动化测试框架，该框架未使用unittest框架，完全自研发，分享给测试行业的同学
注：框架中涉及到的第三方包，请自行下载
2021-12-13 22:39:33
182KB
1
官方离线安装包，亲测可用。使用rpm -ivh [rpm完整包名] 进行安装
2021-12-12 21:01:41
11KB
官方离线安装包，亲测可用。使用rpm -ivh [rpm完整包名] 进行安装
2021-12-12 21:01:41
116KB
官方离线安装包，亲测可用。使用rpm -ivh [rpm完整包名] 进行安装
2021-12-12 21:01:40
124KB
一个很简单的爬虫，实现了爬取笔趣阁的小说，由于测试每本只爬取10章，可以修改爬取全部，遗憾的地方是没有学习多线程，爬取速度太慢，而且每次爬取不能从上次的断点开始，只能重新爬，知识给小白一个参考
2021-12-10 14:55:29
3KB
1