DoubanBookSpider:爬取豆瓣书籍信息,并持久化到mysql数据库

上传者: 42108054 | 上传时间: 2022-12-15 18:22:07 | 文件大小: 37KB | 文件类型: ZIP
DoubanBookSpider 抓取豆瓣的书籍信息并持久化到mysql数据库 这个爬虫的思路主要受@lanbing510 的启发,不同的是实现方面我自己用了requests库,持久化用了mysql,另外添加了日志模块logging。在应对豆瓣反爬虫方面,由于不想买收费代理,而我自己又是ADSL拨号上网,所以一旦检测到豆瓣返回403,就主动断开路由连接,重连获取新的ip。 以下介绍一下思路和实现。 一、爬虫思路及架构 通过观察豆瓣网书籍的具体页面,我们可以发现,具体书籍网址的组成形式为: 其中bookid为具体的数字。第一种思路是设定一个比较大的数字,然后从1到这个数字的范围之内去遍历所有数字对应的网址,但是我们可以发现,这些书的id往往非常大,基本都是百万级别的数字,一个个去撞库非常不现实。 其实每本书都有很多标签,每个标签都汇集了同一类的所有书,要是可以获取到所有标签,然后根据这些标签

文件下载

资源详情

[{"title":"( 6 个子文件 37KB ) DoubanBookSpider:爬取豆瓣书籍信息,并持久化到mysql数据库","children":[{"title":"DoubanBookSpider-master","children":[{"title":"images","children":[{"title":"框架.jpg <span style='color:#111;'> 25.78KB </span>","children":null,"spread":false},{"title":"流程.jpg <span style='color:#111;'> 17.08KB </span>","children":null,"spread":false}],"spread":true},{"title":"douban_tags.py <span style='color:#111;'> 894B </span>","children":null,"spread":false},{"title":"init.sql <span style='color:#111;'> 1.12KB </span>","children":null,"spread":false},{"title":"README.md <span style='color:#111;'> 5.10KB </span>","children":null,"spread":false},{"title":"douban_books.py <span style='color:#111;'> 11.38KB </span>","children":null,"spread":false}],"spread":true}],"spread":true}]

评论信息

免责申明

【只为小站】的资源来自网友分享,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,【只为小站】 无法对用户传输的作品、信息、内容的权属或合法性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论 【只为小站】 经营者是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。
本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二条之规定,若资源存在侵权或相关问题请联系本站客服人员,zhiweidada#qq.com,请把#换成@,本站将给予最大的支持与配合,做到及时反馈和处理。关于更多版权及免责申明参见 版权及免责申明