豆瓣读书数据存入Mysql数据库1. 豆瓣数据爬取2. 创建数据库表单3. 插入数据4. 全部代码
1. 豆瓣数据爬取
这一部分之前的爬虫专项中已经有详细讲到过，这里直接给出代码如下，保留了输入的图书类型和要爬取页数的接口，需要注意cookie要填写自己计算机的上对应的内容
#coding=utf8
from bs4 import BeautifulSoup
import requests
import pandas as pd
from urllib import parse
from doubandb import Book,sess
headers = {
'User-Agent
2023-04-06 15:39:10
281KB
1
该项目是用Scrapy对豆瓣读书的Top250排行榜进行爬取，我们先是对首页发送请求，得到详情页地址，然后向详情页发送请求，在从详情页中解析书名，作者，出版年月，页数，价格，出版方，ISBN，出版社，丛书，评分，副标题，译者，原作名，装帧等字段，最后用·MySQl进行存储
2023-03-10 07:01:12
10KB
1
TJU数据库实践，豆瓣读书数据库反向设计。含括数据库、前端开发等内容。内含实践报告、SQL语句、PPT汇报。
2022-12-17 20:14:40
8.54MB
1
该资源包含《Python3爬取豆瓣网站奇幻小说信息》全部代码，以及爬取的数据story.xlsx，脚本执行的输出结果等日志信息也在里面
2022-02-11 15:21:28
309KB
1
使用Xpath语法爬取豆瓣读书Top250（csv存取数据）
使用的软件是Spyder
网页地址：https://book.douban.com/top250?start=0
直接上代码：
建议大家从网站上爬取数据的时候采取采取以下方法：
import time
time.sleep(0.2)
以减缓对服务器的压力，当然如果爬取的数据量不大的话可以不采用，防止被封IP。
以下是完整代码：
# -*- coding: utf-8 -*-
"""
Created on Thu Apr 30 18:35:17 2020
@author: ASUS
"""
import requests
impor
2021-09-07 18:47:58
46KB
1