2023-03-12 22:16:13 401KB 数据集
1
本程序可以连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据,并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据,包括用户信息和微博信息两大类。因为内容太多,这里不再赘述,详细内容见获取到的字段。如果只需要用户信息,可以通过设置实现只爬取微博用户信息的功能。本程序需设置cookie来获取微博访问权限,后面会讲解如何获取cookie。如果不想设置cookie,可以使用免cookie版,二者功能类似。 爬取结果可写入文件和数据库,具体的写入文件类型如下: txt文件(默认) csv文件(默认) json文件(可选) MySQL数据库(可选) MongoDB数据库(可选) SQLite数据库(可选) 同时支持下载微博中的图片和视频,具体的可下载文件如下: 原创微博中的原始图片(可选) 转发微博中的原始图片(可选) 原创微博中的视频(可选) 转发微博中的视频(可选) 原创微博Live Photo中的视频(免cookie版特有) 转发微博Live Photo中的视频(免cookie版特有)
2023-03-04 11:00:59 111KB python 爬虫 新浪微博
1
本程序可以连续爬取一个或多个新浪微博用户(如胡歌、迪丽热巴、郭碧婷)的数据,并将结果信息写入文件或数据库。写入信息几乎包括用户微博的所有数据,包括用户信息和微博信息两大类。
2023-02-28 14:16:16 102KB Web爬虫
1
新浪微博需要登录才能爬取,这里使用m.weibo.cn这个移动端网站即可实现简化操作,用这个访问可以直接得到的微博id。 分析新浪微博的评论获取方式得知,其采用动态加载。所以使用json模块解析json代码 单独编写了字符优化函数,解决微博评论中的嘈杂干扰字符 本函数是用python写网络爬虫的终极目的,所以采用函数化方式编写,方便后期优化和添加各种功能 # -*- coding:gbk -*- import re import requests import json from lxml import html #测试微博4054483400791767 comments=[] def
2023-02-21 11:09:15 47KB python python函数 python实例
1
android开发分享到第三方平台(新浪微博,人人,qq空间,微信),其中新浪微博,人人,qq等直接分享即可,微信则需要到微信开放平台申请,通过后才能分享。如果要增加其他平台的分享,修改shareSDK.xml文件即可,将想要分享的平台的Enable改为true。
2023-02-17 17:13:44 3.45MB android开发 分享 第三方平台 新浪微博
1
链接分享(qq好友、qq空间、微信、新浪微博)
2023-02-13 14:26:16 185KB 分享链接
1
这是新浪微博爬虫,采用python+selenium实现。 免费资源,希望对你有所帮助,虽然是傻瓜式爬虫,但是至少能运行。同时rar中包括源码及爬取的示例。 参考我的文章: http://blog.csdn.net/eastmount/article/details/50720436 [python爬虫] Selenium爬取新浪微博内容及用户信息 http://blog.csdn.net/eastmount/article/details/51231852 [Python爬虫] Selenium爬取新浪微博客户端用户信息、热点话题及评论 (上) 主要爬取内容包括: 新浪微博手机端用户信息和微博信息。 用户信息:包括用户ID、用户名、微博数、粉丝数、关注数等。 微博信息:包括转发或原创、点赞数、转发数、评论数、发布时间、微博内容等。 安装过程: 1.先安装Python环境,作者是Python 2.7.8 2.再安装PIP或者easy_install 3.通过命令pip install selenium安装selenium,它是自动测试、爬虫的工具 4.然后修改代码中的用户名和密码
2023-02-03 16:24:35 111KB 源码
1
功能是:获取新浪微博1000w用户的基本信息和每个爬取用户最近发表的50条微博,使用python编写,多进程爬取,将数据存储在了mongodb中
2022-12-29 16:27:55 66KB Python
1
harmonyos 2 Nodejs 模拟登录新浪微博 node版本 node v7.5.0, 使用了 async/await 语法 运行方法 由于 async/await 是ES7中的,所以运行时要加上--harmony-async-await 参数 git clone git@github.com:ruansongsong/nodejs-weibo-login.git cd node-spider-of-weibo npm install node --harmony-async-await index.js 登录模块使用方法 const weiboLogin = require('./lib/weibo_login.js').weiboLogin; (async() => { await new weiboLogin('用户名', '密码2').init(); /* 以下为你获取html的操作 */ // 获取html示例,参见 index.js 中的 getHtml() 函数 let result = await getHtml(); // 输出 console.log(
2022-12-23 11:50:01 1.07MB 系统开源
1
NULL 博文链接:https://tonyj.iteye.com/blog/1897604
2022-12-08 18:04:59 4.86MB 源码 工具
1