用 Python 爬取豆瓣电影分类排行榜
作者博客：https://blog.csdn.net/weixin_52132159
文章链接：https://blog.csdn.net/weixin_52132159/article/details/119505289
2021-08-08 17:05:43
1KB
1
用 Python 爬取豆瓣电影分类排行榜并保存到本地excel文件
作者博客：https://blog.csdn.net/weixin_52132159
文章链接：https://blog.csdn.net/weixin_52132159/article/details/119505289
2021-08-08 17:05:42
1KB
1
该项目大致分为以下步骤：
使用 requests库 获取页面
使用 lxml库 和 XPath 解析页面
爬取电影海报图片
使用 pandas库 将电影的相关信息存储为csv文件
添加循环，保存所有图片以及相关信息
首先，我们构建一个框架来获取豆瓣电影的HTML页面：
import requests
# 获取HTML页面
def get_html(url):
headers = {'User-Agent':"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/8
2021-07-22 10:22:12
1.43MB
1
Python应用实战代码-Python爬取豆瓣影评-分析挖掘用户与电影之间的隐藏信息
2021-07-21 12:04:18
791KB
爬取豆瓣图书中各个标签下的书籍，用户可自行选择需要爬取的标签及其页数，爬取下来的数据保存在csv文件中。
2021-07-13 20:05:03
2KB
1
基于Python Scrapy实现的爬取豆瓣读书9分榜单的书籍数据采集爬虫系统 含数据集和全部源代码
# -*- coding: utf-8 -*-
import scrapy
import re
from doubanbook.items import DoubanbookItem
class DbbookSpider(scrapy.Spider):
name = "dbbook"
# allowed_domains = ["https://www.douban.com/doulist/1264675/"]
start_urls = (
'https://www.douban.com/doulist/1264675/',
)
URL = 'https://www.douban.com/doulist/1264675/?start=PAGE&sort=seq&sub_type='
def parse(self, response):
# print response.body
item = DoubanbookItem()
selector = scrapy.Selector(response)
books = selector.xpath('//div[@class="bd doulist-subject"]')
for each in books:
title = each.xpath('div[@class="title"]/a/text()').extract()[0]
rate = each.xpath('div[@class="rating"]/span[@class="rating_nums"]/text()').extract()[0]
author = re.search('(.*?)
2021-07-10 17:02:47
19KB
Python爬取豆瓣top250电影数据，并导入MySQL，写入excel
具体数据：电影链接、电影名称、电影评分、评分人数、电影概括
import pymysql
import xlwt
from bs4 import BeautifulSoup
from urllib import request
import re
baseurl = 'https://movie.douban.com/top250?start='\nheaders = {\n 'User-Agent': 'XXXXX',
'Referer': 'https://movie.douban.com/top250?
2021-07-06 12:57:58
35KB
1