本宝宝采集的豆瓣20万条影评原始数据集，希望大家积极下载，尊重宝宝的劳动成果，后期有时间我还为大家提供数据集哈。
机器学习，nlp，深度学习的宝宝赶快看过来，看过来哈。
数据集格式：
title##star##comment
电影名称##评论星级（1-5星）##评论内容
2021-07-15 21:45:58
19.93MB
1
python项目实战——豆瓣电影小助手。里面包含需求分析、答辩记录以及项目源码。该项目主要是通过查询豆瓣上的电影排名或搜索电影名称，通过电影名称来对多个网址进行爬虫搜索免费观看链接。点击搜索到的链接即可进入观看网址免费观看电影
2021-07-15 18:03:08
9.71MB
爬取豆瓣图书中各个标签下的书籍，用户可自行选择需要爬取的标签及其页数，爬取下来的数据保存在csv文件中。
2021-07-13 20:05:03
2KB
1
对豆瓣电影进行爬取，对数据进行清洗、可视化
资源下载：https://blog.csdn.net/jklxx110/article/details/118701823
2021-07-13 16:04:38
34.4MB
1
基于Python Scrapy实现的爬取豆瓣读书9分榜单的书籍数据采集爬虫系统 含数据集和全部源代码
# -*- coding: utf-8 -*-
import scrapy
import re
from doubanbook.items import DoubanbookItem
class DbbookSpider(scrapy.Spider):
name = "dbbook"
# allowed_domains = ["https://www.douban.com/doulist/1264675/"]
start_urls = (
'https://www.douban.com/doulist/1264675/',
)
URL = 'https://www.douban.com/doulist/1264675/?start=PAGE&sort=seq&sub_type='
def parse(self, response):
# print response.body
item = DoubanbookItem()
selector = scrapy.Selector(response)
books = selector.xpath('//div[@class="bd doulist-subject"]')
for each in books:
title = each.xpath('div[@class="title"]/a/text()').extract()[0]
rate = each.xpath('div[@class="rating"]/span[@class="rating_nums"]/text()').extract()[0]
author = re.search('(.*?)
2021-07-10 17:02:47
19KB
基于Python Scrapy实现的豆瓣电影数据采集爬虫系统 含数据库SQL和全部源代码
# -*- coding: utf-8 -*-
"""
@Author : nesta
@Email : 572645517@qq.com
@Software: PyCharm
@project : movie
@File : MovieSpider.py
@Time : 2018/4/26 9:18
"""
from scrapy.spiders import Spider
from scrapy.http import Request
from scrapy.selector import Selector
from movie.items import MovieItem
class MovieSpider(Spider):
name = 'movie'
url = u'https://movie.douban.com/top250'
start_urls = [u'https://movie.douban.com/top250']
def parse(self, response):
item = MovieItem()
selector = Selector(response) # 解析
movies = selector.xpath('//div[@class="info"]')
for movie in movies:
title = movie.xpath('div[@class="hd"]/a/span/text()').extract()
fullTitle = ''
for each in title:
fullTitle += each
movieInfo = movie.xpath('div[@class="bd"]/p/text()').extract()
star = movie.xpath('div[@class="bd"]/div[@class="star"]/span[@class="rating_num"]/text()').extract()[0]
quote = movie.xpath('div[@class="bd"]/p/span/text()').extract()
if quote:
quote = quote[0]
else:
quote = ''
item['title'] = fullTitle
item['movieInfo'] = ';'.join(movieInfo).replace(' ', '').replace('\n', '')
item['star'] = star[0]
item['quote'] = quote
yield item
nextPage = selector.xpath('//span[@class="next"]/link/@href').extract()
if nextPage:
nextPage = nextPage[0]
print(self.url + str(nextPage))
yield Request(self.url + str(nextPage), callback=self.parse)
2021-07-10 17:02:46
14KB
Scrapy 爬虫 + 数据清理 + 数据分析 + 构建情感分析模型
一、爬取豆瓣Top250的短评数据
movie_item
movie_comment
movie_people
二、数据清理与特征工程+统计分析
movie_item
总评分最高的前10部电影
最受欢迎的电影类别排名
最受欢迎的电影出品国家排名
最受欢迎的电影导演排名
最受欢迎的电影演员排名
最受欢迎的电影语言排名
根据电影时长的电影排名
根据电影投票数的电影排名
根据电影评价数的电影排名
根据电影提问数的电影排名
根据电影发布时间的规律
1~5星级投票的百分比
电影简介的情感分析
movie_comment
就肖申克的救赎这个电影而言
短评词云
用朴素贝叶斯完成中文文本分类器
用svc完成中文文本分类器
用facebook-fasttext有监督完成中文文本分类
用facebook-fasttext无监督学习
用cnn做中文文本分类
用rnn做中文文本分类
用gru来完成中文文本分类
全部影片的短评数据分析
movie_people
短评人常居地按照国家分布
中国短评人常居地按照省份分布
每个短评人的被关注数与好友数
中国短评人的被关注数和好友数的人均地域分布
根据点评人个人简介构建中文文本分类模型
三、movie_item + movie_comment + movie_people
三个数据集间的协同分析
通过短评来预测被评价电影是什么类型
小结
2021-07-08 15:02:44
73.43MB
douban
介绍
爬取豆瓣所有的电影
软件架构
传统的maven和mybatis和mysql
安装教程
将resource中的sql文件在mysql中执行,然后修改jdbc.properties中的连接地址信息,运行Main
使用说明
无
参与贡献
无
2021-07-07 12:40:15
21KB
1