本执行程序exe是工程《Python爬虫【零】问题介绍 -- 对“微博辟谣”账号的历史微博进行数据采集》https://blog.csdn.net/u010086122/article/details/114957255 为Windows编译的可执行程序,基于Python3.7+selenium制作,工程源代码: https://download.csdn.net/download/u010086122/16086467 ----------------------------------------------------------------------------------------- 1. 执行项目前,需要下载selenium对应的浏览器驱动程序(driver.exe),并放在本机环境变量路径中,否则会报错。安装操作具体可见博客专题中的指导【二】 2. 执行程序时,会在系统用户默认路径下,创建一个虚拟的python环境(我的路径是C:\Users\Albert\AppData\Local\Temp\_MEI124882\),因此启动项目所需时间较长(约30秒后屏幕才有反应,打出提示),请耐心等待;也正因如此,执行电脑本身环境是可以无需安装python和selenium依赖包的 3. 本项目采用cmd交互方式执行,因此等到屏幕显示: 选择爬取方式: 1. 移动版微博爬取 2. PC网页版微博爬取(单线程) 3. PC网页版微博爬取(页面内多线程) 4. PC网页版微博爬取(多线程异步处理多页面) 后,用键盘输入1~4,敲回车执行 4. 此exe编译时,工程代码内编写的最终excel记录保存地址为:相对工程根路径下的excel文件夹;因此当本exe执行到最后保存数据时,会因为此excel文件夹路径不存在而报错。若在工程中将保存地址改为绝对路径(例如D:\excel\),再编译生成exe执行,则最终爬取数据可以正确保存
2021-04-01 09:06:28 311.29MB python selenium exe 爬虫
1
Python微博数据采集.mp4
2021-03-29 10:03:21 727.61MB python 爬虫
1
84168条新浪微博数据集。 8万多条在2014-05-03至2014-05-11采集的关于12个主题的微博信息数据。包含63641个用户,文件为sql脚本,可直接导入数据库。 微博数据集 话题聚类
1
本项目使用python+selenium技术,对“微博辟谣”账号的历史微博进行数据采集。项目程序爬取了移动版微博和PC网页版两种渠道数据,用到了单线程和多线程(单页面内多线程爬取内容+多线程异步处理多页面)方式。相关专题可见: 《Python爬虫【零】问题介绍 -- 对“微博辟谣”账号的历史微博进行数据采集》https://blog.csdn.net/u010086122/article/details/114957255 博客专题内对源码分析已经比较清楚和全面了,可以满足学习要求。此资源为抛砖引玉,仅为赶时间速成的同学提供完整的项目案例。 ------------------------------------------------------------- 执行项目需要提前安装好python环境(anaconda、pycharm)以及selenium依赖包(pip install selenium),同时还需下载selenium对应的浏览器驱动程序(driver.exe),放在本机环境变量路径中。具体可见博客专题中的指导 -------------------------------------------------------------- 本项目工程编译了windows版本执行程序:[微博数据采集python+selenium执行程序:WBCrawler.exe](https://download.csdn.net/download/u010086122/16277506)
2021-03-25 09:10:06 41KB 爬虫 selenium 微博 多线程
1971个用户历史微博数据.rar
2021-03-23 09:08:30 215.15MB 数据集 shp 矢量
新浪微博个人微博数据集(已导入).rar
2021-03-22 20:08:47 20.61MB 数据集 shp 矢量
数据包含微博id、微博发布时间、发布人账号、微博中文内容、微博图片
2021-03-05 18:14:14 79.94MB 微博数据
爬取的103个微博用户截止2019年8月发布的所有原创微博,以csv文件存储,每个用户对应一个csv文件。包括48位女性,55位男性,男女性分开存储。包括id、微博正文、微博原始图片URL、原始视频URL、发布日期、发布工具、点赞数、评论数、转发数、话题和@用户。总共包括十多万条微博,可以用做性别分类等自然语言处理任务的数据集。
2021-02-25 13:21:06 5.61MB weibo
1
微博热搜数据爬取,数据可视化轮播动态图,代码不用修改直接可以运行,一键化展示
爬取用户微博数据热搜,内含系统部署说明操作文档,系统演示PPT。
2021-02-15 17:53:38 4.49MB 爬虫 python 数据 微博
1